1. 分布式存储大步向前!
近几年,新兴存储架构逐渐布满了市场,给由传统SAN架构占据的市场带来了大量的烟火气。不妨列举一下名词:分布式存储,ServerSAN,云存储,对象存储,超融合,一体机。实际上,这堆名词里,除了对象存储描述的是前端访问协议之外,其它的基本上都是基于分布式存储构建的。
分布式存储的概念源于上世纪70年代,然而却在40年之后一瞬间就被发扬光大了。冬瓜哥之前就考虑过这个问题,这里面一定有什么原因。经过一番仔细思考,2010年前后的技术环境,恰好就是分布式存储茁壮成长的“温床”。
首先,外因。用户对存储系统成本的扩展性需求和成本的压力逐渐增强,而SAN存储厂商长期维持的经营模式已经形成了固化,很难调整方向。
其次,内因。分布式存储能玩得转,网络速度要快,否则用个10Mb以太网互联,根本跑不动。再就是硬盘,分布式系统里每个节点不会挂太多的硬盘否则就成了SAN的玩法了,因此,如果硬盘容量太小,整个系统的容量就太小,无法满足需求。另外,因为硬盘数量相比SAN存储来讲成倍下降,那么就无法像SAN那样通过Raid条带化提供太高的I/O并行性,所以单个硬盘的速度就必须大幅提升才可以。
幸好,就在21世纪初的10年里,千兆万兆以太网逐渐普及。另外,机械硬盘容量凭借PMR垂直记录,SMR叠瓦式此纪录,EAMR能量辅助磁记录等大幅提升硬盘容量的技术手段,迅速上升到了10TB以上,目前已经有了20TB的企业级机械硬盘,将来还可以达到单盘上百TB。比如下图中分别为西部数据(WesternDigital)的16TB、18TB和20TB的企业级机械硬盘。这样,就可以消除分布式系统对超高容量密度需求的后顾之忧。
同时,对于超高性能密度的需求,得益于基于NANDFlash的固态盘的爆炸式发展,仅仅用了不到10年,SSD就从早期的SLC介质演化到最新的QLC介质,这种革新速度之快,在历史上都是少有的。NANDFlash让SSD单盘性能最高直接超过了1000k IOPS(一百万IOPS),延迟从机械硬盘的平均10ms直接降低到1ms甚至微秒量级。
然而,单个硬盘容量几个TB,同时又要求性能大幅提升,机械盘和固态盘单独上阵,都无法完成任务。很自然的,大容量机械盘+高速低容量固态盘,形成分层的数据存储架构,基本上是目前分布式存储的标准方案。
有了超大容量机械盘和超高性能SSD,分布式存储的发展如鱼得水,饥渴的种子有了温床,爆发式增长也就不足为奇了。从全球整体市场来分析看,分布式存储需求的大规模增长带来了企业级SSD和企业级HDD的不断增长,伴随企业级SSD的疯狂高增长,企业级HDD年复合平均增长率也高达39%,其中大容量企业级HDD渐成主流。
综上所述,网快了,盘快了,盘大了,“快快大”这三个因素,必然让分布式存储“快快大”式增长。在西部数据公司高级副总裁兼中国及亚太区总经理Steven Craig看来,数据存储领域通过云计算与大数据的创新驱动,让数据中心迎来了前所未有的增长与发展。
西部数据公司高级副总裁兼中国及亚太区总经理—Steven Craig
西部数据公司技术及战略总裁SivaSivaram博士也对闪存技术以及数据架构的发展进行了介绍和分享。
2. 波动范围不断缩小!
然而,新技术一定会带来新挑战。高速路上会遇到传统土路上所无需考虑的问题,那就是快速拥塞问题。高速路上如果有一辆车减速,就会导致很糟糕的后果,因为后面的车会跟着减速同时变道,变道又会导致旁边车道的车减速变道,就这样所有车道上的车都开始减速,最后导致快速拥塞,往往绵延很长的队列。而这个问题在慢腾腾的土路上是可以忽略不计的。这种拥塞轻则导致业务卡顿,重则业务直接I/O超时崩溃,尤其是对于高并发I/O的大户互联网用户而言。于是SSD的I/O性能波动,成了继IOPS、延迟之后的第三大存储能力参数。因此各大SSD厂商都在这个课题上花了大功夫来优化。比如下图中的西部数据UltrastarDC SN840固态硬盘,其波动范围仅有0.11%,这个值应该是首屈一指了。
3. “吵闹邻居”悄然无声!
云存储的另外一个挑战,就是吵闹的邻居问题。云存储的典型玩法就是虚拟化,把硬件资源利用虚拟化的方式切分,供多个用户共享使用。一个用户对硬件资源的使用,势必影响其它用户,因为无论怎么虚拟化,底层硬件的队列始终是共享的,而QoS对于云用户是一个关键指标,被邻居吵到的用户,会退租的。
虽然近几年从内核层面开始流行MultiQueue技术,比如典型的Block Layer的多队列改造,以及原生就是多队列的NVMe协议栈,这些技术可以让不同线程只操作各自的专属队列,从而达到互不影响。但是这种解决方案只解决了I/O路径上的问题,却没解决I/O终点的问题,不同的I/O请求最终还是要在一根网线上共享带宽传递,在一块硬盘上共享硬盘内部的SoC和通道资源。
所以,在I/O的最终点实现隔离,是近几年IT大商正在付诸实践的事情。比如在网卡中实现多队列与后端资源的硬件隔离,将网络带宽硬性切分。在硬盘领域,大厂西部数据在这方面做了前瞻性的诸多动作。早在去年,西部数据就发布了ZNS(Zoned Namespaces)技术/指令集,并获得了NVM Express标准的认可和融入。ZNS技术能够针对不同的I/O流提供不同属性的存储介质区域,不但能够让SMR硬盘发挥出更出色的效率,而且还可以让SSD获得更好的性能和寿命。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计。为了推动分区存储技术使用,西部数据采取了开源策略,让开发者、生态合作伙伴可以通过ZonedStorage.io 访问来获取这些开源的信息。下图的西部数据UltrastarDC ZN540就是一款支持ZNS分区功能的企业级SSD。
4. 分层存储精益求精!
不同介质应对极冷存储、冷存储、温存储、热存储和极热存储的不同层级需求,差异化的满足更利于创新存储架构的价值发挥。西部数据公司副总裁兼中国区业务总经理刘钢分析认为,任何单一种类的介质都无法满足所有类型数据的存储需求,西部数据从芯片到存储系统,覆盖数据获取、保存、访问和转换每个阶段需求,在分层存储上,西部数据的产品组合和解决方案能够做得更为精细化。
西部数据公司副总裁兼中国区业务总经理—刘钢
针对极冷存储,如金融、医疗,广电行业数据长期归档这类要求大块写入,写入次数较少,持久存储数据的场景,西部数据最新产品20TB的Ultrastar DC HC650 SMR HDD,以超大容量、稳定可靠的品质来应对用户的需求。针对冷存储,西部数据拥有新款16TB和18TBUltrastar DC HC550 HDD,以9张磁碟,高密度封装的大容量硬盘的领先优势来满足用户的需求。特别是针对云存储用户而言,西部数据公司副总裁兼中国区业务总经理刘钢指出,从14TB升级到18TB,从而可以获得更优的TCO回报。从更高容量、更低能耗、更高效率的刚需来看,整体市场迈向更高容量的18TB进化升级,用户降本增效带来极大的驱动力,18TB普及到数据中心云领域也成为了大趋势。
针对温存储,主流应用场景聚焦在数据存储70%读30%写的比例,西部数据UltrastarDC SN640 NVMe SSD,采用96层NAND介质,8通道,同时DWPD指数包括0.8倍和2倍两种选择,实现不同应用场景下混合工作负载的性能优化。针对热存储,如自动驾驶等低延时、高IOPS、高带宽的应用场景,聚焦在数据存储50%读50%写的比例,西部数据UltrastarDC SN840 NVMe SSD,采用96层NAND介质,16通道,同时DWPD指数包括1倍和3倍两种选择,非常适合密集型工作负载应用场景需求的SSD性能优化。
值得一提的是,除了分层存储以外,西部数据还屡屡强调“分区存储”以及“分解式架构”,以结合企业级硬盘和固态盘的市场发展趋势,帮助企业用户应对数据中心存储面临的来自各方的挑战。
5. 西部数据硬盘名副其实!
2020年,Dropbox在其数据中心中批量部署了西部数据20TB Ultrastar DC HC650 SMR HDD,用作数据归档,其中的数据被写入一次,并且长时间不做进一步的更改,增加了大概10%-20%的存储密度,总体成本降低了20%。
应对冷数据存储挑战,西部数据助力UCloud在2020年推出了新一代归档存储产品。为了降低硬件成本,UCloud新一代归档存储在国内首次采用了西部数据的高密JBOD机型和SMR盘。据UCloud系统工程师周庆介绍,采用UCloud全新自研存储架构,在保证与标准存储相同的11个9的高可靠性基础上,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,为用户提供最低价格的冷数据存储解决方案。
UCloud系统工程师—周庆
据杉岩数据CEO陈坚介绍,杉岩数据专注打造海量对象存储MOS、统一存储平台USP和超融合一体机HyperCube三大产品矩阵,本次与西部数据合作,推出了全闪存云存储解决方案。杉岩数据针对西部数据UltrastarDC SN640 NVMe SSD性能测试上,获得了非常好的成绩。此外,杉岩数据同时还与西部数据合作推出了IPFS EB级存储解决方案,以及针对高密存储需求而言的4U36节点的JBOD存储解决方案,构建全闪存储资源池满足业务发展需求,简化存储管理,降低整体TCO。
杉岩数据CEO—陈坚
此外,西部数据还构建了上海实验技术中心,汇聚了众多专业技术专家,契合客户应用场景,帮助客户实现本地化测试的快速实现,也可以更好助力产品迭代与创新,进一步推进西部数据的技术、产品与方案的行业普及。针对中国用户数字化转型的发展而言,基于不同行业、不同规模、不同业务需求,西部数据的未来创新之路还很长,上海实验技术中心的模式值得业界借鉴和推广。
作为云时代存储系统的关键厂商,西部数据夯实大容量机械盘的稳固后方,猛攻高性能固态存储前沿阵地,利用分层存储在云存储时代建立稳固生态,这个老牌硬盘厂商在云时代必将继续活力四射。