计世网

英特尔AI:我们不生产图片,我们只高效分析
来源:知in
2018-07-12
这百万张图片涵盖了从食品、家居用品到鞋类的162个类别

 

从太空研究到极地动物和海洋生态保护,再到大幅提升医疗诊断水平,解决基因和大脑研究等世界难题……人工智能在过去几年已取得长足进步,越来越多的企业和机构在发挥人工智能的力量。

作为国际三大金融机构之一的世界银行,其下属的国际比较计划(ICP)小组正是这样做的。 ICP已有50年的历史,它对各国货币的购买力平价进行权威评估,提供数据以衡量全球经济,从而让世界银行实现更大的使命——通过与各国政府和私营部门合作,减少贫困、共享繁荣、促进可持续发展。

肩负如此重大的使命,即使需要处理海量数据,ICP团队也必须保证其精准性。从2015年12月到2016年8月,ICP委托进行的试点数据收集研究获得了超过100万张图片。在这个项目中,来自15个国家的贡献者用智能手机收集了各种产品、服务的照片和价格数据,涵盖从食品、家居用品到鞋类的162个类别。这些国家包括阿根廷、孟加拉、巴西、柬埔寨、哥伦比亚、加纳、印度尼西亚、肯尼亚、马拉维、尼日利亚、秘鲁、菲律宾、南非、委内瑞拉和越南等。

如果通过手工对这百万张图片进行分析和分类,工作量无疑是巨大的。为了高效地比较这些来自各个国家的图片,ICP团队寻求人工智能和深度学习模型的帮助,这些模型将智能地进行审查、搜索和分类。简而言之,它们需要自动确认众包图片是否与对应的商品和服务相匹配,并从图片中删除个人身份信息。

在对超过100万张众包图片进行分类时,ICP团队利用了英特尔BigDL和运行在英特尔®至强®处理器上的AWS Databricks*平台。BigDL是一款面向Apache Spark的分布式深度学习库。通过BigDL,用户可以在现有的 Spark 或 Apache Hadoop* 集群上直接运行,支持直接访问存储的数据,并获取出色的工具/工作流一致性。

运行在英特尔BigDL框架上的模型对图像进行分类,每个图像都被标识为“正确标记”、“错误标记”或“无效”。接下来,被识别为“正确标记”的照片将被用来训练模型,这个模型即可以“聪明”地识别照片中的商品或服务类型。

根据部分数据集训练和可扩展性测试结果,ICP团队能够创建一个自动验证流程的应用,以确认收集到的照片与需要观察的物品相匹配。

这样的任务,其数据质量、完整性和保密性都很重要。通过创新的众包方式来收集数据,再加上人工智能在云端的使用,让世界银行大幅减少了对审查、搜索和分类的人力投入。

与世界银行的合作,只是英特尔推动人工智能应用落地的一个例子。作为全球领先的端到端平台提供者,英特尔拥有人工智能全栈实力,从终端设备到云计算,从网络、加速到存储,英特尔产品的广度让各种规模的机构都能够轻松地通过英特尔来开启自己的人工智能之旅。

责任编辑:何周重