计世网

雷军把它当成小米的生命线,原来它是这样“炼”成的!
作者:刘沙 | 来源:计算机世界
2018-06-15
对数据资源的有效利用,不仅需要高效、灵活的IT基础设施保障,也需要创新的服务交付模式。或许很多人还不知道,正是金山云与英特尔的深入合作,给云计算和数据分析的深入融合带来了数据处理模式的变革。

 


  近日,借着移动互联网风口飞起来的小米在港交所成功上市。虽然因为受到全球市场大环境的影响,其首日股价遭遇破发,但是在接下来的几个交易日中,却涨势喜人。仅一周时间,小米的市值就一举超越京东,位列国内互联网市值第四,仅次于BAT。

  在这场资本盛宴中,当更多世人把目光聚焦到“雷布斯”身上、或对小米成功的七字诀“专注、极致、口碑、快”津津乐道时,作为企业级服务从业者,我们更关心的则是小米背后的“故事”。

  睡在小米下铺的兄弟

  有统计数据显示,目前小米不仅是全球第四大手机制造商,同时也是全球最大的消费级物联网平台。海量的用户和海量的终端、每天都运行着海量的应用、产生着海量的数据,而这些应用和服务就是由同属于“雷军系”的公司、成立于2012年的金山云提供IT支持的。得益于小米快速增长的业务量,在成立伊始,金山云营收的80%以上都来自于小米的贡献。

  谈起双方的关系,金山云大数据与AI事业部总经理张东进笑着告诉记者;“我们和小米就是上下铺的关系,小米是上铺,金山云是下铺,小米就是构建在金山云之上的,金山云在底层给小米提供全方位的支持。”

  当然,即使云计算已经慢慢变成一片红海,但仍蕴藏着巨大的商业潜力,金山云自然不甘心“只取一瓢饮”,除了服务小米,金山云也开始拓展更多的业务。为了与早期杀入市场的云计算服务商抗衡,金山云采取了差异化打法,先将业务重点聚焦在游戏和视频直播行业上,之后逐渐渗透到政务、医疗、金融等垂直行业。据IDC报告显示,2015年-2017年,金山云的收入增速同比达到了251.6%、130%和108%,成功跻身国内云服务市场三甲。在2017年底,小米在金山云营收中的占比成功下降为20%,来自其他行业客户的收入则呈现出规模化的扩大态势。

  现在的金山云,数据存储量达EB级,单日新增数据超过1PB。可以说,估值高达23.73亿美元的金山云不仅是国内估值最高的独立云服务商,还是国内最大的商用云存储厂商之一。

  大数据才是金山云的大金矿

  但是,为企业用户提供云服务并不是金山云的终极目标。雷军曾经表示,之所以投资金山云,做云业务,正是因为从小米身上看到了数据爆炸性增长带来的机遇。由此可见,无论是站在服务商的角度、还是站在企业用户的角度来看,存储在云端的大数据都意味着巨大的金矿。
 

金山云大数据与AI事业部总经理张东进


  张东进告诉记者,我国企业应用大数据共经历了四个阶段:

  第一个阶段是2010年左右,拥有技术优势和数据优势的互联网公司最早开始应用大数据,而传统企业对大数据则抱着认知、观望的态度;

  第二个阶段是2012年到2014年,随着云计算逐渐发展,国内出现了一批大数据服务商,他们将开源软件加工定制成产品,卖给各行各业。这个阶段的主要问题是产品需要针对每个行业、甚至每个企业做相关的定制和适配,实施周期都很长,而且,由于技术条件不成熟,很多服务商难以支撑大规模的大数据集群,可能会导致一个公司内存在很多不同套的Hadoop集群,难以运维管理;

  第三个阶段是2014年以后,云计算大规模爆发,很多企业开始把基础服务云化,将大数据搬上云端。金山云也是从这时开始构建云端的大数据服务。张东进强调:“在云端很容易做整个集群的部署、管理和伸缩,可以降低企业的实施成本。”

  第四个阶段则是现在,为企业提供“大数据即服务”。“这是企业客户,尤其是大型企业客户需要的,我们把它叫做大数据云。”张东进表示,能够把企业整体的数据做统一的封装,并且能提供整套服务的才有资格叫“大数据即服务”。

  与第三个阶段的云服务相比,大数据云具备统一管理管控、物理资源和云资源有机结合、超大规模落地和可视化开发编排的服务特性,解决了传统大数据服务难维护、难使用、难扩展、难共享、难成规模等问题,可以帮助企业快速构建全新的大数据落地能力。

  可以私有化的公有云

  据介绍,金山云的大数据云具有统一、云化、大规模和开放四大特点:可以统一接入和管理多存储引擎、计算引擎、分析引擎,并提供统一的访问和编程接口;可以提供完善的云化特性,包括弹性、可用性、多租户、自运维等,适配不同的IaaS;在规模上具备高度的可扩展性,可以支持高达万台规模,打破Hadoop、MPP等关键系统的规模瓶颈;基于统一的大数据访问层,还可以提供灵活、便捷、可控的大数据应用组件接入支持。

  “大数据云不只封装了Hadoop一种底层开源技术,还包括了业界其他主流技术,让用户可以通过统一的编程接口访问不同的服务,同时还可以选用不同的底层开源技术。”张东进强调,“它可以适配不同层次的开发人员,甚至是有需求的业务人员,大大提高数据处理的效率。”

  据透露,为了满足大型企业客户,尤其是数据量大、合规要求高、分支机构多、业务复杂的银行、证券、保险、制造、航空航天等行业企业的需求,金山云还推出了私有化的公有云产品。

  “就是把大数据公有云的架构,变成了一套可以装到客户机房里的服务,等于我们直接给客户装了一套公有云服务,它的服务生产能力是可以和公有云的能力对标的。”张东进解释到,“传统的私有云,无论是基于虚拟机还是物理机搭建的,它们的规模和伸缩性都无法与公有云相比较。而我们把具有公有云厂商规模能力、扩展能力和易用性的产品直接输出给大型企业客户,他们就可以在自己的机房里直接构建大数据服务了。”

  亦师亦友的伙伴

  回顾企业应用大数据的历程和金山云的产品路线,我们不难发现,是云计算的普及为大数据的深度应用提供了坚实的基础。但是,对数据资源的有效利用,不仅需要高效、灵活的IT基础设施保障,也需要创新的服务交付模式。或许很多人还不知道,正是金山云与英特尔的深入合作,给云计算和数据分析的深入融合带来了数据处理模式的变革。

  据张东进介绍,早在2012年公司成立那年,金山云就选择了英特尔作为合作伙伴,开展了深度的技术合作。张东进向记者强调:“英特尔有非常强的技术实力,参与了我们很多基础技术的建设工作。”如:双方一起对计算、存储和网络领域的所有设备和平台进行基准测试和优化,共同推出了软件定义基础设施,帮金山云数据中心的基础设施实现了优化和现代化。

  通过采用英特尔的至强可扩展处理器、25GbE以太网适配器以及企业级高性能固态盘,金山云给游戏行业用户带来了更好的体验:其IO优化型云主机可帮助用户获得各类型游戏所需的高性能计算和高IO处理能力,并具备高度的稳定性;专属云产品和云物理主机产品则加强了用户对云资源的操控和调配,可以满足用户对更高性能和稳定性的要求。

  作为大数据云的重要组件,金山云推出的托管Hadoop数据分析平台KMR也得到了英特尔至强处理器E5系列、英特尔固态盘以及英特尔万兆位以太网服务器适配器等产品支持:英特尔至强处理器 E5-2600 v4基于14 纳米处理技术构建,提升了并行工作的负载性能;适用于PCIe的英特尔数据中心固态盘为英特尔至强处理器提供了极致的数据吞吐量;在KMR中采用的高性能的英特尔以太网聚合网络适配器 X520-SR2,则为苛刻的数据中心/云环境提供了高度的灵活性及可扩展性。

  在硬件产品以外,英特尔还在各类大数据分析软件库上为金山云的性能加速提供了动力。例如英特尔高性能数据分析加速库,包含了基于英特尔平台优化的常用机器学习算法库。在英特尔工程师的协助下,金山云完成了Intel DAAL库评测,DAAL K-Means算法对应传统的Spark ML-Lib 算法实现了近4.6倍的性能提升。

  如今,随着人工智能需求的爆发,金山云与英特尔也在深度学习领域展开了合作,搭建了KDL高性能异构计算平台。通过统一资源调度,金山云让客户可以很容易访问云存储和高性能异构计算集群,并且在上层整合了大数据和深度学习运行,为客户提供一站式深度学习平台,帮客户处理好预处理、训练、评估、预测四个阶段的研发任务,让企业更加快速的迭代。

  长期的合作让双方的关系越来越密切,成果越来越多,默契度也越来越高。张东进向记者表示,现在金山云与英特尔是亦师亦友的关系,互为良师,也互为朋友。未来金山云还将继续与英特尔深度合作,一起探索更大的发展空间和机会。

 

责任编辑:刘沙