计世网

自主研发的QingStor能带来分布式存储新格局吗?
作者:刘沙 | 来源:计算机世界
2020-09-02
四款专业存储产品可以支撑市场上几乎全部主流云计算产品。

 


  9月2日,青云QingCloud的存储产品线--QingStor全线升级NeonSAN(分布式块存储)、对象存储、文件存储和融合存储四款专业存储产品。QingStor存储产品线的相关负责人对这些产品进行了详细解读。

  为云而生

  QingStor 存储产品线研发负责人王煜开门见山地指出:"在过去10年中,企业级存储市场主要呈现出两大趋势。" 

QingStor 存储产品线研发负责人 王煜


  其一:分布式存储经历了快速的增长期。

  根据IDC在2019年发布的预测报告,无论是对象存储、文件存储还是块存储,在未来几年里都会保持两位数的高速增长。

  而且,在企业内部,分布式存储的占比越来越多,在一些企业里甚至超过了传统存储。究其原因,主要是在过去10年里,移动互联网、大数据、5G、AIoT等新兴技术的不同应用场景对存储提出了新需求。

  其二:全闪存储已逐渐成为主流。

  IDC市场报告显示,在所有采用存储的企业里,全闪存储的使用率已经超过80%。而且,全闪存储的年均增速超过了50%。

  "这是一个相当惊人的数字,因为SSD全闪介质的成本正在逐年下降。我们做过一个计算,按照存储关键性能指标IOPS,目前每单位IOPS对应的价格,与企业级磁盘的价格不相上下。这是企业采用全闪存储最主要的驱动力。"王煜解释到。

  正是因为看到了这样的变化,QingStor研发团队在存储领域投入了大量的研发精力。从2012年青云QingCloud推出第一版云计算产品开始,就在存储的底层坚持采用自主研发的方式。在过去的8年里,青云QingCloud在云计算环境下积累了大量关于存储的需求和技术实践。

  目前,QingStor产品家族新诞生的NeonSAN、对象存储、文件存储和融合存储四款专业存储产品,可以支撑市场上几乎全部主流云计算产品。除了青云QingCloud的公有云、私有云,还有VMware虚拟化平台、OpenStack云平台,目前容器领域最火的Kubernetes容器平台等等,都可以由QingStor作为底层存储来支撑。"可以说,QingStor就是'为云设计、为云而生 '的产品。"王煜强调。

  如今,QingStor的产品家族已经积累了数万家企业客户。在公有云领域,QingStor全线产品已经部署在青云QingCloud的8个公有云区。在私有云领域,QingStor几乎覆盖了全部主流行业,包括银行、保险、证券、制造、能源、医疗、教育、政府等等。要特别强调的是,QingStor在公有云和私有云中采用的是同一套架构、同一套代码。也就是说,QingStor全线产品是经过公有云和私有云的共同检验,经过大规模生产环境验证的。

  自主研发

  令青云QingCloud人自豪的是,QingStor全线产品是100%自主设计、自主研发的。从架构设计阶段开始,QingStor就采用了自己的设计理念,完全区别于基于开源存储二次开发的商业存储公司。

  在谈到为什么要选择自主研发这条艰难的道路时,王煜解释到,主要是基于两点原因:

  第一,企业核心业务上云时,对于存储的要求是非常严格的,不仅仅要求性能和稳定性,还要考虑到云计算场景下的安全性、隔离性,以及大规模的扩展能力。而市场上主流的开源存储都无法完全满足上述要求。

  第二,作为一家中国企业,青云QingCloud希望能够为中国企业客户提供全栈自主可控的优质产品服务,从而消除企业对数据安全的顾虑。

  王煜表示:"此次QingStor升级发布最核心的就是把存储全栈产品线进行国产化。除了软件架构,在底层的芯片和操作系统领域也与很多国产化厂商达成了合作和互认证,如鲲鹏、海光、飞腾、麒麟、统信软件、OpenPower等等。希望通过国产化适配,能够让QingStor存储产品线实现全栈国产化,从而消除企业客户的担忧和顾虑。" 

  据介绍,与开源存储采用通用的存储底层不同,QingStor的四款产品在架构设计时,每一款都采用了独立的设计方式。因为企业的存储场景是多样而复杂的,不存在一种架构设计能够完全满足所有的存储场景。有些场景需要极致性能,有些场景需要大容量,有些场景需要高IOPS,有些场景需要高吞吐,有些场景需要通用的接口。所以,青云QingCloud在设计时,把存储场景划分为热数据、冷数据、温数据以及混合场景。

  为极致性能设计的NeonSAN

  在设计QingStor NeonSAN时,青云QingCloud希望打造一款拥有极致性能的分布式存储产品,所以缩了短I/O路径栈,去掉了本地文件系统,提高了协议转换效率。正是因为这样的设计,QingStor NeonSAN能够稳定支撑企业的核心业务,如核心数据库Oracle RAC。"目前市面上可以稳定、快速地跑Oracle RAC的,几乎都是传统存储。在分布式存储里,QingStor NeonSAN应该是第一款,也是唯一一款能够很好支持Oracle RAC的存储产品。"

  据QingStor存储产品线产品经理冯相东介绍,QingStor NeonSAN 3.0版本新增了异构存储池支持、卷粒度的QoS、全RDMA互联、以及支持NVMeoF协议四大功能。

QingStor存储产品线产品经理 冯相东


  从1.0版本迭代到现在的3.0版本,QingStor NeonSAN一直都围绕核心场景来打造产品能力,持续赋能云平台/虚拟化、大数据、业务连续性,以及容器/云原生场景。

  作为一款可以独立售卖的分布式块存储,QingStor NeonSAN 除了能与QingCloud云平台对接,还能与VMware平台、OpenStack平台、Hyper-V平台对接。

  针对大数据场景,NeonSAN提供了互斥卷组策略,可以提高存储的使用率,提升大数据应用存储的效率,不造成存储空间的浪费。

  针对业务连续性场景,NeonSAN能够与青云QingCloud 云平台一起,统一管理云平台上的计算资源、网络资源、存储资源,提供一套完整的业务连续性管理的解决方案,满足业务对不同RPO/RTO的要求,简化对业务连续性的管理,提高业务连续性的效率。

  针对云原生场景,NeonSAN 可以为K8s、KubeSphere容器平台提供高性能、可靠性、企业级分布式存储的能力。

  此外,青云QingCloud还推出了KubeSphere KF3000容器一体机和QingStor NF6000分布式全闪存储一体机。前者结合了KubeSphere 以及QingStor NeonSAN两款产品的能力,可以帮助企业级用户快速落地容器平台。后者可以实现3节点100万IOPS的性能指标,保证时延在0.5毫秒以下,达到了业界主流的中高端全闪阵列性能指标。

  为海量数据设计的对象存储

  对象存储是分布式存储领域里的新晋派系,用来解决非结构化数据存储的问题,如图片、音视频、日志、归档备份等等。

  根据IDC的研究报告,全球数据总量已经达到50ZB,其中80%为非结构化数据。这些数据读取的频率不是特别高,通常是一次写入、多次读取的,但是其数据容量、数量都非常大,需要一个健壮、开放且成本合理的存储来承载。因此QingStor对象存储设计的核心就是承载海量数据。

  据QingStor对象存储产品经理贾斌介绍,QingStor对象存储3.0不仅可以服务更多的数据场景,如数据迁移、数据保护、数据备份、AI视频监控,还带来了更强大、更具优势的存储性能,可以应对更复杂多样的用户需求。其新增的功能包括对象版本控制、数据追加写入、数据跨区域复制和官方生态工具升级。

QingStor对象存储产品经理 贾斌


  在数据迁移场景中,QingStor对象存储 3.0带来了数据跨区域复制,全新重构的官方工具 qsctl和qscamel。通过这些新功能和工具,在数据迁移中能够对跨平台及复杂场景实现全覆盖。

  在数据保护场景中,实现了存储桶(Bucket)内数据的历史版本存储和管理,解决了企业级用户对数据意外删除、意外覆盖、恶意篡改等问题,对金融、政务、公共安全等行业的意义重大。

  在数据备份场景中,解决了数据恢复缓慢、整体成本高昂、运维管理复杂等问题,而且整体成本更低。

  在AI与视频监控场景中,数据追加写入的接口、为智能终端定制的SDK,以及混合云存储的解决方案,可以更好的解决云时代下视频监控的新需求,也就是数据写入的超高并发要求、数据AI分析与应用。

  "随着业务场景越来越复杂多样,对存储性能的要求也越来越高,但QingStor对象存储 3.0的单桶数据超过百亿时,性能依然保持稳定,这在整个对象存储行业里是非常少见的。"贾斌谈到,"都说'鱼和熊掌不可兼得',但这是一款'鱼和熊掌'兼得的存储服务,兼得海量数据和超高性能。" 

  为通用场景设计的文件存储

  "如果说存储技术是IT技术中的皇冠,那么文件存储就是皇冠上的明珠。"王煜表示,文件存储在技术架构实现上是非常复杂和艰难的,目前能把文件存储,尤其是分布式文件存储做好的厂商少之又少。

  QingStor 文件存储研发负责人黄蒙告诉记者,此次发布的QingStor文件存储2.0版本是为通用场景设计的,拥有通用的标准文件接口,多层次的扩展性,可以同时适配差异化的文件存储需求。


QingStor 文件存储研发负责人 黄蒙

  "企业中大部分应用都依赖于标准文件接口,不支持标准文件接口就意味着应用系统需要改造,去适配存储系统,这有点本末倒置。"黄蒙指出,在统一命名空间中,每个目录下支持的访问处理能力、空间容量、文件数量都需要具备水平扩展能力,这才是真正意义上的可扩展架构。市场上同类型产品的架构扩展性往往是有限的或缺失的,而QingStor 文件存储架构中的文件容量和接入节点访问处理能力都可以水平扩展。

  据悉,QingStor文件存储2.0版的性能也达到了新高,可以提供更优的局部服务架构和更好的编程语言助力。更优的局部服务架构让Cache的利用率显著提高,总体占用内存资源更少;减少了多个节点对同一个文件的并发写入冲突;当I/O服务出现故障时,可以做更平滑的故障切换。更好的编程语言就是系统开发编程语言的新贵--Rust语言,这款被微软、AWS、Facebook看好的语言,不仅安全、高效,还可以将bug风险扼杀在摇篮里。

  黄蒙表示:"从产品定位到架构设计原则,我们做的所有的努力, 都是希望打造一款在云计算基础架构下更加通用的文件存储产品,希望这款产品能帮助更多应用平滑上云,享受到云计算基础设施带来的便利。"

  为高性价比设计的融合存储

  QingStor融合存储则是为高性价比设计的,一套架构可以提供多种接口,而且基于NeonSAN的统一存储池,使用统一的界面进行管理。王煜指出:"QingStor融合存储与Ceph最大的区别在于,它是一款不为性能妥协的融合存储。我们希望给用户提供统一的管理体验,提供统一存储池的同时,还能让用户完完整整地享受到前三款专业存储的功能和性能。"

  据悉,在本次发布的新版本中还全新升级了管理平台Portal 3.0,升级的核心点一是加入了对象存储管理,实现了存储后台的统一管理,可以用同一个后台管理所有存储产品;二是增加了很多创新的图形元素,可以增强运维人员对存储的理解;三是增加了硬盘健康状况预警功能,可以把硬盘指标抓出来分析,帮助运维人员在硬盘发生故障之前,预测系统内部可能发生的故障,从而规避问题。

  经过8年锻造,QingStor系列存储产品再一次全面升级,从各种站在用户的出发点和业务场景化的设计中,我们看得出青云QingCloud坚持的"匠心"。那么,这些主打为云而生、自主研发、自主设计、高性能、高性价比、国产化的存储产品,能打破现有的存储市场格局吗?时间终会告诉我们答案,让我们拭目以待吧。

责任编辑:刘沙