如何成就云上智多星
作者:刘沙 焦旭（编辑） | 来源:Intel
2018-05-28
源自UCloud的一系列测试结果表明，借助面向英特尔架构优化的Caffe框架，测试系统同时运行的线程数量可以得到显著增加。基于该框架，测试系统的执行时间也能从最初未修改前的37秒缩短至优化后的3.6秒，整体执行性能提高了10倍以上。
编者按：
人工智能(AI)在线服务的普及，不仅需要在技术上予以突破，其部署的便捷性、与现有云计算能力的结合程度以及在分布式集群上部署的可行性，也在深刻影响着企业用户的AI研发和应用进程。正是因为准确捕捉到了用户的痛点和具体需求，上海优刻得信息科技有限公司(UCloud)的UAI- Inference才赢得了用户的青睐。
云计算为人工智能发展带来新机会
数据和计算技术的逐步成熟，加快了机器学习和深度学习模型及神经网络的发展。训练和运行这些模型需要强大的处理能力和极高的数据存储量，但随着技术和现代计算模型(如云计算)的飞速发展，这一障碍正逐步消失。换句话说，越发经济且高效的计算、存储和数据技术是推动当今AI技术蓬勃发展的关键因素。
这一发展趋势为云服务提供商提供了许多机会。提供AI开发解决方案也许是另一条可为云服务提供商带来利润的途径。
虽然到目前为止，只有超大型组织在AI领域进行了投资。但有研究表明，这一情况正在发生改变。Forrester预测，70%的企业将在未来12个月内实施AI，2016年这一数字为40%，2017年为51%。
在AI如火如荼的今天，很多初创企业和传统企业都选择以AI为契机开拓市场，但企业的AI之路并非坦途大道，无论是初创企业踏上AI创新之旅，还是传统企业希冀借助AI之力调转航向，实现转型或升级，AI系统的设计、部署和运维都需要巨大、多维度的投入且困难重重，在决策选型过程中稍有不慎，都会带来巨大的沉没成本，令许多企业望而生畏。如何在性能和成本之间达到平衡?这一问题让许多企业决策者感到苦恼。
为此，作为目前国内领先的公有云服务提供商之一的UCloud基于英特尔至强服务器平台，充分发掘和利用英特尔高级矢量扩展(英特尔AVX)指令集相关处理单元的潜能，推出了UCloud AI在线服务(UCloud AI online Service，UAI- Inference)，将身处技术"深闺"中的AI技术和应用进一步平民化、实体化，通过PaaS的方式，让更多有志于在AI领域开拓进取的企业能够获取出色的AI部署能力。
英特尔Caffe框架助力UCloud简化AI模型部署
AI系统的建设并非易事，企业AI系统的建设可分为"数据收集"、"模型训练"及"模型部署"三个步骤，每个步骤都会带来复杂的IT系统建设及运维工作。随着各类大数据、云计算技术方案的日趋成熟，"数据收集"和"模型训练"的工作正逐渐转移到云上，形成了成熟的云化方案，而AI模型部署的云化还存在许多问题:一方面，多种多样的AI框架需要企业制订和执行不同的部署策略，难免因此产生高昂的运营成本;另一方面，主要用于模型训练的GPU平台在模型部署中不仅部署成本较高，而且在扩展性上的表现也不够理想。
UCloud推出的UAI- Inference，就是针对上述AI模型部署难题而生的创新方案。
UAI- Inference给用户带来的最大优势，就是省去了部署AI在线服务时的大量繁琐工作，让用户可以将宝贵的资源聚焦在自身的业务上。如果每一个企业用户在部署自己的AI服务时，都需要通盘考虑容灾、安全性、资源调度或者负载均衡，那么企业在人力资源和成本上的支出将是沉重不堪的。UAI- Inference将这些工作都内化为SDK包和PaaS平台服务，用户只需要像使用云主机或者云存储服务那样，轻松将所需的功能或服务配置在一起就可以使用，而且UAI- Inference还可以自动将分布式部署的四大要素--负载均衡、自动扩容、分布式容灾以及海量计算资源进行有效配置。
UAI- Inference另一个重要优势是平台内数据的安全性。首先，由于UAI- Inference在每个虚拟机上只部署一个AI节点，因此做到了各个AI任务之间的隔离;其次，由于平台本身并不涉及AI训练数据以及训练方法，在运行时仅需模型文件及接口代码，杜绝了数据外泄的可能;此外，UCloud还基于SDN技术实现了网络链路层的隔离，使每个客户的AI Service项目子网之间相互隔离，提升了网络安全性;最后，UCloud基于SDN技术实现了网络链路层的隔离，使每个客户的AI Service项目子网之间相互隔离，提升了网络安全性。在UAI- Inference中，用户之间的AI模型和接口代码是安全隔离的，全自动化的部署过程使运维人员无权访问敏感数据，进一步提升了数据的安全性。
UAI- Inference的通用性优势，解决了企业面对不同AI框架时的"选择障碍症"。UAI- Inference对主流的AI框架，包括TensorFlow、Keras、Caffe和MXNet等都提供良好的支持，企业可以根据自己的业务需求来选择不同的AI框架进行接入。
在传统的AI框架以外，UAI- Inference还与英特尔一起，引入了性能更佳的AI框架:面向英特尔架构优化的Caffe框架。这一版本的Caffe框架与传统AI框架相比，能更好地支持英特尔至强可扩展处理器产品家族和英特尔至强融核TM处理器产品家族，并集成了最新版本的英特尔数学核心函数库2017，能更高效地利用英特尔AVX的处理能力。
源自UCloud的一系列测试结果表明，借助面向英特尔架构优化的Caffe框架，测试系统同时运行的线程数量可以得到显著增加。基于该框架，测试系统的执行时间也能从最初未修改前的37秒缩短至优化后的3.6秒，整体执行性能提高了10倍以上。事实证明，通过采用这一框架，UAI- Inference的AI在线服务效率得到了极大的跃升。
英特尔AVX助力UCloud提升AI在线服务性能
由于在图像识别、自然语言处理等AI正在发挥重要作用的领域中，往往需要用到大量的浮点计算，因此在人们的传统观念里，只针对浮点计算提供加速的GPU平台，似乎更适于AI系统的构建。但在AI模型的部署实践中，GPU动辄高达数万元人民币的售价极其昂贵，而且由于其扩展性不足，一旦部署，通常就只能固定执行单一的计算工作，难以随时根据工作任务的调整和变化实现及时的适配。
这样一来，UCloud就盯上了数据中心内大量部署的、每台服务器都会配备的通用处理器。通过技术分析，UCloud发现虚拟云主机中的处理器，处于工作状态的主要都是简单指令集，而英特尔至强可扩展处理器集成英特尔 AVX则并没有被充分利用。这意味着以浮点计算性能著称的英特尔AVX的能力，可以提供更适用的解决方案。"
英特尔AVX是一套完整的单指令多数据(SIMD)指令集规范，其最大的优势在于支持256位矢量计算，大大提升了处理器的浮点计算性能。其具备的增强数据重排能力，也能更有效地存储、读取数据。在充分认识到了英特尔AVX及其处理单元的特性和优势之后，UCloud的工程师们开始了一项大胆的创新:利用各个虚拟机中此前未能"物尽其用"的英特尔AVX能力，来满足AI在线服务的计算需求。
为了实现这一创举，UCloud与英特尔的工程师们携手优化了英特尔AVX在AI在线服务中的应用表现，经过反复的优化与验证，AI在线服务的重要技术指标--时延被成功降低到了数百毫秒，完全能够满足UCloud用户的实际应用需求。
在时延这一性能指标达标的同时，英特尔至强可扩展处理器产品家族出色的可扩展性也开始释放其强大的应用潜力。在数据中心内、服务器中配备的无数英特尔处理器都可以被扩展到系统中，来进一步强化AI在线服务所需的浮点计算能力，这是一种远比GPU方案经济高效得多的解决方案。
为了对这一创新成果进行验证，UAI- Inference已在200多个基于英特尔至强可扩展处理器产品家族的虚拟机节点上部署了AI在线服务计算节点，验证测试的结果表明:基于英特尔至强处理器的AI在线服务计算节点完全能满足用户对性能的要求，在帮助用户有效降低TCO的同时，也顺应了数据中心环保节能的发展方向。
英特尔AVX助力AI在线服务更快识别"喜怒哀乐"
在前期成功开发和测试的基础上，UAI- Inference近期又在人脸识别技术的应用上实现最新进展。人脸识别一直是人工智能的一个重要研究方向，而基于英特尔至强服务器平台，利用英特尔AVX来支持的UAI- Inference，已在人脸表情识别的一系列测试中达成了优异的表现，验证了其能帮助零基础用户获得强大AI能力的潜能。
在测试中，UCloud选用了Tensorflow提供的TF-Slim实验库以及人脸表情识别公开数据库fer2013，其中共包含35887张人脸图片，各测试样本在年龄、面部等方面有较大差异性，这使该项技术测试具备了巨大的挑战性。
而测试结果表明:在有并发的前提下，UAI- Inference (AI在线服务)的性能普遍高于8核8G云主机的性能，刚刚得到的测评数据表明，目前并发数为8-16个节点时，AI在线服务在性能上基本与基于GPU的方案相仿，这不仅说明在UAI- Inference (AI在线服务)上部署人脸表情识别应用可以带来出色的成效，还证明基于英特尔AVX支持的UAI- Inference在人工智能应用中完全具备了与传统方案相媲美的能力。
人工智能(AI)在线服务的普及，不仅需要在技术上予以突破，其部署的便捷性、与现有云计算能力的结合程度以及在分布式集群上部署的可行性，也在深刻影响着企业用户的AI研发和应用进程。正是因为准确捕捉到了用户的痛点和具体需求，上海优刻得信息科技有限公司(UCloud)的UAI- Inference才赢得了用户的青睐。
云计算为人工智能发展带来新机会
数据和计算技术的逐步成熟，加快了机器学习和深度学习模型及神经网络的发展。训练和运行这些模型需要强大的处理能力和极高的数据存储量，但随着技术和现代计算模型(如云计算)的飞速发展，这一障碍正逐步消失。换句话说，越发经济且高效的计算、存储和数据技术是推动当今AI技术蓬勃发展的关键因素。
这一发展趋势为云服务提供商提供了许多机会。提供AI开发解决方案也许是另一条可为云服务提供商带来利润的途径。
虽然到目前为止，只有超大型组织在AI领域进行了投资。但有研究表明，这一情况正在发生改变。Forrester预测，70%的企业将在未来12个月内实施AI，2016年这一数字为40%，2017年为51%。
在AI如火如荼的今天，很多初创企业和传统企业都选择以AI为契机开拓市场，但企业的AI之路并非坦途大道，无论是初创企业踏上AI创新之旅，还是传统企业希冀借助AI之力调转航向，实现转型或升级，AI系统的设计、部署和运维都需要巨大、多维度的投入且困难重重，在决策选型过程中稍有不慎，都会带来巨大的沉没成本，令许多企业望而生畏。如何在性能和成本之间达到平衡?这一问题让许多企业决策者感到苦恼。
为此，作为目前国内领先的公有云服务提供商之一的UCloud基于英特尔至强服务器平台，充分发掘和利用英特尔高级矢量扩展(英特尔AVX)指令集相关处理单元的潜能，推出了UCloud AI在线服务(UCloud AI online Service，UAI- Inference)，将身处技术"深闺"中的AI技术和应用进一步平民化、实体化，通过PaaS的方式，让更多有志于在AI领域开拓进取的企业能够获取出色的AI部署能力。
英特尔Caffe框架助力UCloud简化AI模型部署
AI系统的建设并非易事，企业AI系统的建设可分为"数据收集"、"模型训练"及"模型部署"三个步骤，每个步骤都会带来复杂的IT系统建设及运维工作。随着各类大数据、云计算技术方案的日趋成熟，"数据收集"和"模型训练"的工作正逐渐转移到云上，形成了成熟的云化方案，而AI模型部署的云化还存在许多问题:一方面，多种多样的AI框架需要企业制订和执行不同的部署策略，难免因此产生高昂的运营成本;另一方面，主要用于模型训练的GPU平台在模型部署中不仅部署成本较高，而且在扩展性上的表现也不够理想。
UCloud推出的UAI- Inference，就是针对上述AI模型部署难题而生的创新方案。
UAI- Inference给用户带来的最大优势，就是省去了部署AI在线服务时的大量繁琐工作，让用户可以将宝贵的资源聚焦在自身的业务上。如果每一个企业用户在部署自己的AI服务时，都需要通盘考虑容灾、安全性、资源调度或者负载均衡，那么企业在人力资源和成本上的支出将是沉重不堪的。UAI- Inference将这些工作都内化为SDK包和PaaS平台服务，用户只需要像使用云主机或者云存储服务那样，轻松将所需的功能或服务配置在一起就可以使用，而且UAI- Inference还可以自动将分布式部署的四大要素--负载均衡、自动扩容、分布式容灾以及海量计算资源进行有效配置。
UAI- Inference另一个重要优势是平台内数据的安全性。首先，由于UAI- Inference在每个虚拟机上只部署一个AI节点，因此做到了各个AI任务之间的隔离;其次，由于平台本身并不涉及AI训练数据以及训练方法，在运行时仅需模型文件及接口代码，杜绝了数据外泄的可能;此外，UCloud还基于SDN技术实现了网络链路层的隔离，使每个客户的AI Service项目子网之间相互隔离，提升了网络安全性;最后，UCloud基于SDN技术实现了网络链路层的隔离，使每个客户的AI Service项目子网之间相互隔离，提升了网络安全性。在UAI- Inference中，用户之间的AI模型和接口代码是安全隔离的，全自动化的部署过程使运维人员无权访问敏感数据，进一步提升了数据的安全性。
UAI- Inference的通用性优势，解决了企业面对不同AI框架时的"选择障碍症"。UAI- Inference对主流的AI框架，包括TensorFlow、Keras、Caffe和MXNet等都提供良好的支持，企业可以根据自己的业务需求来选择不同的AI框架进行接入。
在传统的AI框架以外，UAI- Inference还与英特尔一起，引入了性能更佳的AI框架:面向英特尔架构优化的Caffe框架。这一版本的Caffe框架与传统AI框架相比，能更好地支持英特尔至强可扩展处理器产品家族和英特尔至强融核TM处理器产品家族，并集成了最新版本的英特尔数学核心函数库2017，能更高效地利用英特尔AVX的处理能力。
源自UCloud的一系列测试结果表明，借助面向英特尔架构优化的Caffe框架，测试系统同时运行的线程数量可以得到显著增加。基于该框架，测试系统的执行时间也能从最初未修改前的37秒缩短至优化后的3.6秒，整体执行性能提高了10倍以上。事实证明，通过采用这一框架，UAI- Inference的AI在线服务效率得到了极大的跃升。
英特尔AVX助力UCloud提升AI在线服务性能
由于在图像识别、自然语言处理等AI正在发挥重要作用的领域中，往往需要用到大量的浮点计算，因此在人们的传统观念里，只针对浮点计算提供加速的GPU平台，似乎更适于AI系统的构建。但在AI模型的部署实践中，GPU动辄高达数万元人民币的售价极其昂贵，而且由于其扩展性不足，一旦部署，通常就只能固定执行单一的计算工作，难以随时根据工作任务的调整和变化实现及时的适配。
这样一来，UCloud就盯上了数据中心内大量部署的、每台服务器都会配备的通用处理器。通过技术分析，UCloud发现虚拟云主机中的处理器，处于工作状态的主要都是简单指令集，而英特尔至强可扩展处理器集成英特尔 AVX则并没有被充分利用。这意味着以浮点计算性能著称的英特尔AVX的能力，可以提供更适用的解决方案。"
英特尔AVX是一套完整的单指令多数据(SIMD)指令集规范，其最大的优势在于支持256位矢量计算，大大提升了处理器的浮点计算性能。其具备的增强数据重排能力，也能更有效地存储、读取数据。在充分认识到了英特尔AVX及其处理单元的特性和优势之后，UCloud的工程师们开始了一项大胆的创新:利用各个虚拟机中此前未能"物尽其用"的英特尔AVX能力，来满足AI在线服务的计算需求。
为了实现这一创举，UCloud与英特尔的工程师们携手优化了英特尔AVX在AI在线服务中的应用表现，经过反复的优化与验证，AI在线服务的重要技术指标--时延被成功降低到了数百毫秒，完全能够满足UCloud用户的实际应用需求。
在时延这一性能指标达标的同时，英特尔至强可扩展处理器产品家族出色的可扩展性也开始释放其强大的应用潜力。在数据中心内、服务器中配备的无数英特尔处理器都可以被扩展到系统中，来进一步强化AI在线服务所需的浮点计算能力，这是一种远比GPU方案经济高效得多的解决方案。
为了对这一创新成果进行验证，UAI- Inference已在200多个基于英特尔至强可扩展处理器产品家族的虚拟机节点上部署了AI在线服务计算节点，验证测试的结果表明:基于英特尔至强处理器的AI在线服务计算节点完全能满足用户对性能的要求，在帮助用户有效降低TCO的同时，也顺应了数据中心环保节能的发展方向。
英特尔AVX助力AI在线服务更快识别"喜怒哀乐"
在前期成功开发和测试的基础上，UAI- Inference近期又在人脸识别技术的应用上实现最新进展。人脸识别一直是人工智能的一个重要研究方向，而基于英特尔至强服务器平台，利用英特尔AVX来支持的UAI- Inference，已在人脸表情识别的一系列测试中达成了优异的表现，验证了其能帮助零基础用户获得强大AI能力的潜能。
在测试中，UCloud选用了Tensorflow提供的TF-Slim实验库以及人脸表情识别公开数据库fer2013，其中共包含35887张人脸图片，各测试样本在年龄、面部等方面有较大差异性，这使该项技术测试具备了巨大的挑战性。
而测试结果表明:在有并发的前提下，UAI- Inference (AI在线服务)的性能普遍高于8核8G云主机的性能，刚刚得到的测评数据表明，目前并发数为8-16个节点时，AI在线服务在性能上基本与基于GPU的方案相仿，这不仅说明在UAI- Inference (AI在线服务)上部署人脸表情识别应用可以带来出色的成效，还证明基于英特尔AVX支持的UAI- Inference在人工智能应用中完全具备了与传统方案相媲美的能力。
责任编辑：刘沙
专题
最新发布