计世网

谁说机器学习难?它在这朵云上就没有门槛
作者:刘沙 | 来源:计算机世界
2020-05-20
随着云计算的出现,人工智能和机器学习不再局限于少数科技巨头和硬核的研究机构里,它们有机会可以走进千千万万个企业中。

 

  美国运通使用数据分析和机器学习来帮助检测实时的欺诈行为,节省了数百万美元的损失。

  沃尔沃利用数据和机器学习帮助预测零部件何时可能出现故障、何时需要维修,提高了汽车的安全性。

  ……

  就像这样,机器学习能帮助企业解决的问题远远不止于此,它还能提供个性化的客户服务、供应链推荐、动态定价、医疗诊断和反洗黑钱等等。


  如今,机器学习已开始被用于越来越多的领域和行业。AWS首席云计算企业战略顾问张侠博士告诉记者,"全球各地数以万计的公司, 几乎每一个行业和细分市场,都开始将机器学习应用于其工作负载,从数据中获得更多价值,获得洞察,提升业务。

  根据Gartner发布的2019人工智能新技术成熟度曲线,以机器学习(Machine Learning,ML)为代表的许多人工智能技术正在快速成熟。2018年至2019年间,部署人工智能的组织已经从4%增长到了14%。

  根据IDC的预计,到2023年,中国人工智能市场规模将达到979亿美元,2018-2023年复合增长率为28.4%。

  机器学习为什么没"火"起来?

  事实上,机器学习并不是近几年才"问世"的。早在50年前,机器学习的概念就出现了,而且当前多数机器学习技术都是在几十年前就发明出来的,但是那些年它们在市场上的表现却一直不温不火。

  张侠总结出了制约人工智能广泛应用的三个因素:一是掌握人工智能专业知识的人才不足;二是构建和扩展人工智能的技术产品有难度;三是在生产经营中部署人工智能应用不仅费时,成本也高,所以导致市场上缺乏低成本、易使用、可扩展的人工智能产品和服务。

       而且,机器学习的实施是一项非常复杂的工作,涉及大量试错,需要专业的技能。

  开发者和数据科学家首先要对数据进行可视化、转换和预处理,这些数据才能变成算法可以使用的格式,用以训练模型。即使是简单的模型,企业也需要花费庞大的算力和大量的训练时间,并且可能需要招聘专门的团队来管理包含多台GPU服务器的训练环境。

  从选择和优化算法,到调节影响模型准确性的数百万个参数,训练模型的所有阶段都需要大量的人力和猜测。然后,在应用程序中部署训练好的模型时,企业又需要另一套应用设计和分布式系统方面的专业技能。并且,随着数据集和变量数的增加,模型会过时,企业又必须一次又一次地重新训练模型,让模型从新的信息中学习和进化。

  所有这些工作都需要大量的专业知识,并耗费庞大的算力、数据存储和时间成本。而且,由于没有集成化的工具用于整个机器学习的工作流,机器学习模型的传统开发方式是非常复杂和昂贵的。

  AWS全球副总裁及大中华区执行董事张文翊表示,"国内越来越多的企业正在探讨机器学习和人工智能技术带来的巨大潜力,探索如何把这些技术融入到日常应用当中。但实际上,除了少数具有专家人才和数据科学家的企业外,大部分公司还是很难应用机器学习这项技术。"

  云上的机器学习有什么不一样?

  但是云计算的普及给这一困境带来了转机。随着云计算的出现,人工智能和机器学习不再局限于少数科技巨头和硬核的研究机构里,它们有机会可以走进千千万万个企业中。

  张侠解释到,在机器学习的发展中,云计算起到了非常决定性的作用。云计算可以非常方便地为大数据提供存储和计算的能力,同时使得我们可以很方便的交流、分享各种各样的算法。 "我们正在开启机器学习的黄金时代。以前阻碍机器学习在现实世界应用的许多限制开始消失。许多风口正在汇集在一起,使得部署机器学习变得前所未有的简单。"


  近日,Amazon SageMaker在由西云数据运营的AWS中国 (宁夏) 区域和光环新网运营的AWS中国(北京)区域正式上线。

  Amazon SageMaker 是一项完全托管的服务,可以帮助开发者和数据科学家快速地规模化构建、训练和部署机器学习 (ML) 模型。它也是一个工具集,提供了用于机器学习的所有组件,贯穿整个机器学习的工作流程,从而以更少的努力、更低的成本、更快地将机器学习模型投入生产。

  Amazon SageMaker还提供了多项强大的功能,如弹性笔记本、实验管理、自动模型创建、调试与分析,以及模型概念漂移检测,等等。这些功能封装在首个面向机器学习的集成开发环境Amazon SageMaker Studio中。同时,AWS还在不断地为它增加新功能,仅仅在2019年就增加了50多个新功能。

  Amazon SageMaker消除了机器学习过程中各个步骤的繁重工作。通过预置的Notebook、针对PB级数据集优化的常用算法,以及自动模型调优,Amazon SageMaker大大降低了模型构建和训练的难度。并且,Amazon SageMaker显著简化和加快了模型训练过程,可以通过自动提供和管理基础设施来训练模型和运行推理。

  张文翊告诉记者,"AWS提供了广泛、深入的机器学习和人工智能服务。Amazon SageMaker在AWS中国(宁夏)区域和AWS中国(北京)区域上线,将帮助更多中国客户去除机器学习涉及的混乱和复杂性,让他们能够胜任构建、训练和部署模型的工作,以应对新的挑战。"

  其实,Amazon SageMaker只是AWS机器学习解决方案的一个层面。AWS提供的机器学习解决方案是一个包括三层的服务堆栈。Amazon SageMaker是其中间层。

  三层服务堆栈的底层,为想要自己构建算法或开发新框架的客户提供灵活选择,客户可以选择使用TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod 和 Keras等机器学习框架。在这一层,AWS 专注于性能、灵活性,降低成本,以便任何用户都可以使用最新的基础设施,对多种框架进行试验。借助AWS,客户可以访问针对机器学习的、最强大的 GPU 实例,应对最苛刻的应用场景。

  在三层服务堆栈的顶层,AWS提供了训练好的人工智能服务,这些服务主要解决与人类认知相关的典型问题。例如,计算机视觉方面的服务,可以识别图像或视频中的对象、人员、文本、场景、活动和不安全或不适宜的内容。个性化推荐服务可以从库存中向消费者推荐多种产品和服务。客户可以直接在其应用中调用AWS提供的这些人工智能服务,而无需关注服务背后的机器学习模型。

  支撑AWS机器学习服务的,还有AWS在计算、存储、数据库和数据分析等方面的能力,以及它们的安全性、可靠性、可扩展性和成本效率。

  机器学习如何为企业赋能?

  事实上,亚马逊一直是探索和应用机器学习技术的先行者。20多年来,亚马逊在人工智能和机器学习方面进行了大量投入:从在线零售的个性化产品推荐,到机器人仓储中心,从无人机送货、Alexa语音助理,到Amazon GO无人值守超市,这些走在行业前列的应用都离不开人工智能和机器学习技术的支持。据张侠透露,目前在亚马逊专注从事机器学习和深度学习的工程师就有数千人之多。

  而AWS在机器学习方面的实力也得到了分析机构的高度评价。Gartner在2020年2月最新发布的《云上AI开发者服务魔力象限》中,将AWS就技术执行力和对技术未来发展愿景的完整规划上排名在领导者象限最高位置。

  张侠告诉记者,在未来十几年到几十年的过程中,机器学习将广泛、深入的改变我们的生活,所以AWS有一个愿景,就是要将亚马逊在机器学习方面的经验和专长输送给所有的企业和机构,为大家提供更多、更好的工具。

  如今,全球有数以万计的客户在使用Amazon SageMaker加快机器学习部署,如通用电气、西门子、道琼斯、Autodesk、拜耳、英国航空、盖洛普、洛杉矶快船队、松下航空电子(Panasonic Avionics)、环球邮报、T-Mobile,还有国内的虎牙、大宇无限、嘉谊互娱、华来科技等等。

  大宇无限机器学习技术总监苏映滨告诉记者,作为一家专门从事移动应用程序开发的公司,大宇无限主要为中东、东南亚和拉丁美洲等新兴市场提供移动短视频服务。"Amazon SageMaker极大地简化了机器学习系统的构建、训练和部署流程,使我们无需构建基础设施,我们的算法工程师只需为Amazon SageMaker准备数据,仅用三个月的时间就从零完成了整个系统的建设,实现了从0到1的突破,并承受了实际用户访问的压力。与自主构建模型相比,节省了70%的费用!"

  AWS核心级咨询合作伙伴伊克罗德则表示,其基于AWS的解决方案极大地减少了用户的开发时间与运营费用。"我们运用Amazon SageMaker平台加速企业导入行业AI解决方案,可以针对客户实际遇到的商业问题,量身打造真正解决问题的端到端AI应用。我们将以SageMaker平台作为企业MLOps(机器学习运营)核心,协助企业构建MLOps流程,帮助企业内部数据科学家与AI工程师建立、训练与部署机器学习模型。"

 

责任编辑:刘沙