“企业要构建自己的AI在线服务系统并非易事，无论是IT基础设施的建设还是AI 框架的部署，都需要耗费大量人力、物力。如果在IT系统、AI框架上选择失误，则会前功尽弃，这给AI项目的发展和普及制造了很高的门槛。我们的目标是帮助用户像使用云主机、云存储这些成熟的云产品一样使用AI在线服务。通过充分利用英特尔至强处理器的高可扩展性及英特尔AVX，我们的UAI-Inference正逐渐走近这一目标。”——UCloud创新产品线总监 叶理灯

　　在人工智能（Artificial Intelligence，AI）如火如荼的今天，很多初创企业和传统企业都选择以AI为契机开拓市场，但同时也面临着缺乏高效部署AI能力的难题。为此，UCloud基于英特尔至强服务器平台，充分发掘和利用英特尔高级矢量扩展（英特尔AVX）指令集相关处理单元的潜能，推出了UCloud AI 在线服务（UCloud AI online Service，UAI-Inference），其具备的大规模分布式计算平台可以满足企业在图像识别、自然语言处理等多个AI领域的在线服务应用需求。

　　面临挑战

　　企业的AI之路并非坦途大道：无论是初创企业踏上AI创新之旅，还是传统企业希冀借助AI之力调转航向，实现转型或升级，AI系统的设计、部署和运维都需要巨大、多维度的投入且困难重重，在决策选型过程中稍有不慎，都会带来巨大的沉没成本，令许多企业望而生畏。

　　AI的高成本正侵蚀企业的总拥有成本（Total Cost of Ownership, TCO）：AI能力提升的背后，可能会给企业带来巨大的成本开支，如何在性能和成本之间达到平衡？这一问题让许多企业决策者感到苦恼。

　　解决方案

　　UCloud UAI-Inference：面向初创企业、传统企业AI转型而生的UCloud UAI-Inference，旨在提供易部署、易运维、更安全以及多AI框架支持的AI在线服务节点，可助力企业完成AI模型部署这一关键环节，并在图像识别、机器学习等多个AI领域满足企业用户的需求。

　　英特尔至强处理器及英特尔AVX：通过与英特尔的紧密技术合作，UAI-Inference一方面巧妙地利用云主机中英特尔至强处理器的空闲处理能力，将其英特尔AVX能力用于支持和加速AI在线服务；另一方面，利用该处理器产品家族强大的可扩展性进行弹性部署，用低成本获得高性能，降低用户的TCO。

　　成果

　　真正推动AI技术的普及，助其持续发展：UCloud推出的UAI-Inference将身处技术“深闺”中的AI技术和应用进一步平民化、实体化。通过PaaS的方式，让更多有志于在AI领域开拓进取的企业能够获取出色的AI部署能力，进而让整个AI产业实现“小步快跑”的前进节奏。

　　更有效利用空闲计算资源、节约用户成本支出：UAI-Inference创新地利用英特尔至强处理器的空闲处理能力，是对空闲计算资源再利用的有效尝试，其成功实践令成千上万的数据中心处理器的空闲能力得以充分利用。这既降低了企业用户的TCO，也达到了环保节能的效果。

　　横空出世的AlphaGo，让AI成为近两年来人们持续关注的热点。而AI也正在走出象牙塔，走近普通企业和大众，并开始在经济和民生层面扮演起越来越重要的角色。从机器学习、模式识别到自动驾驶、机器视觉，不但众多初创企业将AI研发作为扬帆起航的契机，许多传统企业也将其作为自身转型升级所必备的利器。

　　但AI系统的建设并非易事，企业AI系统的建设可分为“数据收集”、“模型训练”及“模型部署”三个步骤，每个步骤都会带来复杂的IT系统建设及运维工作。随着各类大数据、云计算技术方案的日趋成熟，“数据收集”和“模型训练”的工作正逐渐转移到云上，形成了成熟的云化方案，而AI模型部署的云化还存在许多问题：一方面，多种多样的AI框架需要企业制订和执行不同的部署策略，难免因此产生高昂的运营成本；另一方面，主要用于模型训练的GPU平台在模型部署中不仅部署成本较高，而且在扩展性上的表现也不够理想。

　　UCloud推动的UAI-Inference，就是针对上述AI模型部署难题而生的创新方案。UCloud的工程师们创造性地利用了虚拟云主机上英特尔至强处理器的空闲计算资源，借助英特尔AVX的能力，来提供专注于AI模型部署的AI在线服务。英特尔至强处理器强大的可扩展性也帮助UAI-Inference获得了快速便捷部署的能力，并显著降低了企业运行AI在线服务的成本支出。

　　让使用AI服务像使用云主机一样便捷

　　“简单来讲，AI的三部曲可以分为大数据收集，AI模型训练和AI在线服务。”UCloud创新产品线总监叶理灯这样描述企业AI系统建设，“此前，针对前两步，UCloud都已经为用户提供了成熟的云主机、云存储、云网络等解决方案。”
 
　　但三部曲的最后乐章，却还面临诸多问题。一方面，企业用户在基于AI进行业务创新时，常常面临众多的业务流程，如何将不同的业务流程与AI在线服务一一映射，这对AI在线服务的部署、可管理性及可扩展性提出了巨大的挑战；另一方面，面对众多的AI框架，企业运维人员总有无从着手的烦恼，因为他们需要为各个框架开发和配置不同的接口，工作量巨大。为解决AI系统建设这“最后一公里”的问题，UCloud提供了UAI-Inference，它能基于大规模分布式计算平台为用户提供AI在线服务。

　　在实际任务部署中，UAI-Inference为用户提供了“两步走”的部署模式。首先，向用户提供SDK工具包，内含接口代码框架、代码和数据打包模板以及第三方依赖库描述模板。用户只需根据SDK工具包内的代码框架编写接口代码，准备好相关代码和AI模型以及第三方库列表，就可以通过打包工具一键完成任务的在线部署。

　　任务打包完毕后，用户可以通过UAI-Inference分布式的AI在线服务PaaS平台进行后续管理和维护。该平台可以同时管理上千个计算节点，每个计算节点都是同构节点，具有相等的计算能力，并拥有自动请求负载均衡、自动资源管理的功能。用户只需要将业务部署在平台上，就无须操心其后续的运维。
 
　　“UAI-Inference给用户带来的最大优势，就是省去了部署AI在线服务时的大量繁琐工作，让用户可以将宝贵的资源聚焦在自身的业务上。”在UCloud叶理灯看来，如果每一个企业用户在部署自己的AI服务时，都需要通盘考虑容灾、安全性、资源调度或者负载均衡，那么企业在人力资源和成本上的支出将是沉重不堪的。

　　UAI-Inference将这些工作都内化为SDK包和PaaS平台服务，用户只需要像使用云主机或者云存储服务那样，轻松将所需的功能或服务配置在一起就可以使用，而且UAI-Inference还可以自动将分布式部署的四大要素——负载均衡、自动扩容、分布式容灾以及海量计算资源进行有效配置。

　　在下一篇中，我们将继续介绍UAI-Inference平台的另一优势，以及UAI-Inference如何借力英特尔技术以发挥其更强的AI能力等方面的技术解读。

责任编辑：刘沙