数据大爆炸时代，西部数据交出的存储答案

2021-04-22 16:21:48 来源: 互联网

点击

正如西部数据公司副总裁兼中国区业务总经理刘钢在早前举办的2021深圳国际大数据与存储峰会上所说，我们现在进入了一个海量数据的时候。

他指出，从现在到2024年，以HDD为代表的大数据将会以30%的年化增长率成长，届时的大数据将会高达1.62ZB。除了大数据意外，以SSD为代表的快数据也将迅速增长。据他提供的数据预测，相关数据将会在2024耐能达到333EB，而年复合增长率更将高达50%。

“虽然我们存储了不少的数据，但与当年产生的数据相比，能被存储下来的数据占比仅有1.5%。在数字经济的时代，数据这些宝贵的’石油’却没有被存储下来，并进行挖掘和分析处理，这是一件很可惜的事情”，刘钢表示。他进一步指出，之所以会出现这样的原因，这主要与存储的架构和存储的技术没有及时地跟上，进而导致很多数据白白被浪费掉。

“我们需要创新存储架构来为更多的数据提供海量的存储和快速的访问”，刘钢强调。在他看来，这主要存在着多方面的挑战，总结而言就是是用户既需要大容量、也需要快速访问、又需要低成本、还需要低功耗。

刘钢在会上说到，我们很难找到一个存储介质、存储设备来同时满足这四个方面的用户需求。但因为用户的数据是要进行分层，且用户数据有不同类型，对存储的要求也是不同。为此我们可以通过对存储架构进行创新，进而通过系统来满足用户各方面和各种存储场景的需求。

分布式存储架构IPFS就是刘钢给出的答案。“在以前也有一个叫做Storj的去中心化存储架构，而IPFS则是进一步的优化”，刘钢补充说。

所谓IPFS，是InterPlanetary File System的缩写，中文译名是星际文件系统。据维基百科介绍，这是一个旨在创建持久且分布式存储和共享文件的网络传输协议。是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。

具体而言，IPFS是一个对等的分布式文件系统，它尝试为所有计算设备连接同一个文件系统。在某些方面，IPFS类似于万维网，也可以被视作一个独立的BitTorrent群、在同一个Git仓库中交换对象。换种说法，IPFS提供了一个高吞吐量、按内容寻址的块存储模型，及与内容相关超链接。这形成了一个广义的Merkle有向无环图（DAG）。IPFS结合了分布式散列表、鼓励块交换和一个自我认证的名字空间。IPFS没有单点故障，并且节点不需要相互信任。分布式内容传递可以节约带宽，和防止HTTP方案可能遇到的DDoS攻击。

除了从架构创新方面入手，西部数据还基于数据对时延和容量的不同需求，把数据分成极热数据、热数据、温数据、冷数据和极冷数据五层。他们各自有各自的应用场景，而西部数据也能针对性地提供解决方案。

首先先看大数据部分，针对冷存储和极冷存储，业界现在通常用的方案会是高密度的大容量企业级硬盘。而这部分也已经进化到了18T的高密度企业级硬盘。而甚至针对极冷数据，有公司利用软件与技术优化，采用了SMR叠瓦式的硬盘，更是做到了20T的高密度企业硬盘。而头部云服务商的硬盘在过去4年中也从8T进化到了18T。

“IPFS服务商则在以更快的速度进化，他们几乎在过去四个季度就走完了云服务商过去四年硬盘的演进过程，从8T进化到了18T。”刘钢说。他指出，之所以IPFS服务商能进展的如此迅速，这主要与成本有关。“当数据中心从14T升级到18T，为了达到同样存储的容量，你的服务器数量会减少约22%。与此同时，存储密度提高了，而且单位功耗还降低了约21%，这时候你的部署成本和运维成本也降低了。”刘钢举例说。

来到能快速访问的快数据方面，刘钢表示，像热存储和温存储，有两类SSD，一类是主流的SSD，还有一类是针对写密集、计算密集的高性能SSD。将其应用到IPFS里面，则能提供非常好的加速。对于IPFS服务商来说，如何选择SSD供应商，就成为了他们面对的一个重要挑战。

“当你在考虑一家SSD供应商的时候，有三个问题需要考虑，分别是成本、产能和技术。换而言之，你选择的SSD供应商需要有大规模的产能，能够保证供应，同时能够降低成本，还要有领先的Flash技术能够提供高性能Flash、有自主可控的控制器和部件来纵向地优化SSD的产品，提供一致稳定的高性能。”刘钢接着说。

而西部数据恰好是这样的一个供应商。

据了解，西部数据跟铠侠合资的工厂有着全世界最大的Flash的产能，约占全世界Flash产能的33%。他们也刚刚发布了第6代、162层的3D闪存技术，进一步地缩小芯片的尺寸、降低成本、提高性能。其程序性能也可以提高两倍以上，输入输出的IOPS更是提高了约66%。此外，西部数据还有纵向集成的优势。他们有自研的控制器和固件，这将于其flash纵向集成，让产品达到非常稳定的一致性。