云计算、5G、物联网、人工智能等新技术的快速应用，以及传统产业的数字化转型加速，带来海量数据的规模化聚集；层出不穷的数据形态、不断变化的部署环境、随时出现的安全隐患等，都对存储技术发展提出了新的要求，成为企业存储基础设施管理面临的一项巨大挑战。
IDC预计，未来五年软件定义存储市场的复合增长率将达到23.4%，到2025年分布式存储的市场空间将达到325亿美元。
在“2022分布式存储线上峰会”上，联想凌拓资深产品经理吴静以“数据驱动的基石，联想凌拓新一代全自研分布式存储系统”为主题发表演讲。
以下是演讲全文，未经本人审定。
大家好！我是联想凌拓产品经理吴静。受疫情影响很遗憾无法跟大家相约线下高峰论坛，不过好在科技发展能够让我们“海内存知己，天涯若比邻”，通过线上同样可以跨越时空。今天我分享主题是“数据驱动的基石，联想凌拓新一代全自研分布式存储系统”。
数字经济高速增长
数字经济已经不是一个新鲜的话题，从2015年的“互联网+”开始，到2016年的“共享经济”，2018年的“数字中国”以及现在的“新基建”等等，大众的关注度越来越高。根据IDC报告，全球前2000名的企业中，有50%企业的业务能力主要是取决于它的数字化能力。
国务院《十四五数字经济发展规划》中，2025年数字经济在中国GDP占比将达到10%、近13万亿的规模。与之相对应，信息基础建设高速增长，千兆带宽用户数从2020年的640万增长到6000万，增长近10倍，用户的增长和各种形态的应用导致数据量更是爆炸性的增长，从51个ZB到达106个ZB。这是一个非常非常高的数字，而且数字的价值会受到越来越多企业重视。
数据资本化是数字经济未来发展趋势
数字经济的核心是把数据看作基础的生产要素，但是数字价值并不是说一开始就很明确的，一般要经过三个阶段来逐步实现。
首先是数据资源的整合。数据类型是多样的，有结构化的数据、非结构化数据以及半结构化数据，数据类型有块存储、文件存储、对象存储。如果从数据其他维度来看，有可加工的、有非实体的等一系列特征，数据其实分布在一个一个的存储孤岛当中，只有数据资产资源合到一块才会形成规模。
第二步是数据的资产化。资产在经济学里，是能够产生经济收益的资源，如果只是把数据存下来不做任何操作，它是不会产生资产的，在使用当中产生直接或者间接的收益才是资产化，数据变现的过程就是数据资产化的过程。
最后是资本化。前面所说资源化或者资产化，只是个别的现象，只有将数据价值扩展到整个行业层面，才会变成资本化。比如说在线支付，支付宝或者是微信支付、京东支付等等，彻底改变我们的支付方式，所产生新的商业模式才能称为数据资本化，这是未来的数字经济发展很明显一个趋势。
联想凌拓：最大化的一站式的全方位数字化解决方案提供商
联想凌拓是一家数字化解决方案的提供商，是联想和NetApp在中国的合资公司，提供多样化、一站式的、全方位的产品和数字化的解决方案。通过双品牌战略，一方面继承了NetApp在全闪存数据管理以及通用存储阵列上的优势，另一方面以联想ThinkSystem的服务器帮助用户提供本地化的服务企业，同时联想凌拓也具备本地开发的团队与开发能力，能够贴近客户的具体需求，差异化的来解决本地化的问题。
前面我们聚焦一些理念上的内容，那理念的落地还需要一些扎实的技术和过硬的产品。
目前联想凌拓已经构建了丰富的产品线，从不同的角度来实现对新IT架构无缝的全覆盖。比如软件定义领域，下图中间红色部分，包括了刚发布的全自研的分布式DXN存储（这是今天的重点），也包括了DXS分布块系列以及基于StorageGRID这种基础的DXL分布式的对象存储系列，基于这三个产品线实现了软件定义存储的全领域的覆盖。
除此之外，我们还有传统的交换机、备份一体机、DPA系列产品线等等，基于这些产品线更是实现对端、边、云、网、智全线覆盖，而且今年也在积极推动容器平台Astra，就相关领域进行基础研究，希望把这些技术领域研究成果应用到中国市场。
以上就是联想凌拓产品线的概览情况，接下来进入到今天主题分布式存储。
联想凌拓自研分布式存储DXN系列迭代历程
联想凌拓作为一家专业的数据管理解决方案厂商，在2019年合资公司一成立时候就定下了坚持走自研路线的目标，依托于两家专业的母公司打造全自研的分布式存储。去年6月发布了分布式存储1.0版本——DXN1.0，主要面向海量非结构化的数据存储。这是一种基于云原生技术的敏态存储架构；去年10月份，我们发布了SP1版，也就是增强版本，适配了包括OpenStack私有云或者云原生的K8S生态环境；考虑到未来国产化大方向，我们也跟海光服务器平台深度适配，并提供了从硬件、芯片到麒麟操作系统、到存储软件全面实现国产化这样一种方式的产品。
在今年4月，我们正式发布了DXN2.0版本。与之前版本相比，它的拓展性更强，而且支持多模块方式，稳定可靠，而且通过多种数据保护方式来应对数据丢失的风险；在运维管理方面，通过事前主动防御，事中自动处理以及事后快速兜底的方式，来简化管理操作和提高存储管理效率。
市场上，分布式存储最主要玩家还是硬件平台厂商，因为软件必须结合硬件才能发挥分布式存储最大优势，那么软件可以看作分布式存储的灵魂，而硬件虽然是核心，如果灵魂很强大但身体上病恹恹的话，这一定不是我们追求的效果，反过来，如果是头脑简单四肢发达，这也不是我们想要的目标。
联想凌拓的分布式存储融合联想和NetApp两方面优势，在硬件服务器平台上会尝试更多更多的组合，也可以选择更多的服务器平台来适配软件，利用到服务器上一些最新的技术。
作为联想凌拓本土资源的分布式存储，DXN2000机型主要面对的是性能和容量要求均衡型的，采用2U的联想服务器，直连一个扩展柜D3284，在这个JBOD机箱有84块卡结合在一块，总共支持数量超过90块，非常适合需要大容量但是机房空间紧张的用户。
左边是DXN3000机型，是一个高密度的容量型，可以支持到34块3.5寸的大盘，适合于需要大容量、性价比好的客户。
中间专门是为5G 8K高清这种视频流媒体处理打造这种极致性能型的分布式存储，它使用的是当时是最先进的NVMe、SSD以及Scale out技术，这个分布式存储也具备了以下四点：包括海量存储、全对称分布式架构、多协议就支持以及更可靠的设计。
DXN分布式存储架构
MagnaScale是分布式存储内部的操作系统。我们将MagnaScale的软件部署到联想的ThinkSystem服务器上，将服务器的内置盘组成存储资源池，同时对外提供了文件的服务和就S3植入服务，现在，分布式文件更多是将文件的非结构化归为一类，就像我们 ONTAP软件一样，实现非结构化的统一，包括文件、对象等等，它们的边界同样在硬件服务器侧增加了SSD磁盘来作为盘阵，能够有效应对大量密接小文件的访问。
全对撑式架构，打造安全数据堡垒
在分布式存储中是否有元数据节点，是区分对称式和非对称式分布式架构的一种标志。没有专门的MDS元数据节点的，和其它包括像MagnaScale节点的其实意味着这个节点都是对等的，是真正的全对称式架构，在集群扩展时元数据切片落在每一节上，性能可以很好地扩展。所以当增加节点时，它的元数据的处理能力也相对增加，不会出现元数据节点热点的问题。
在元数据安全上，一般来说还是要副本的方式来做保护，可以选择比如说3N副本或者5副本，当选择5副本的时候，可以同时实现四个节点同时宕机而不会影响到业务和数据安全。这意味着全对称式架构能够打造安全的数据堡垒。
高密度磁盘柜+高效EC算法，整体TCO降低20%
高密度的JBOD磁盘柜加上高效EC纠删码算法，能够让客户总体用户成本TCO下降20%以上。
在相同的容量情况下采用DXN2000加上D3284（JBOD）这种组合， 跟友商相比， 能够明显降低用户的采购成本和管理成本，而且DXN也是业内少数能够支持纵向扩展的分布式存储。
同时，DXN也支持高效EC纠删码算法，通过EC纠删码数据保护，磁盘利用率最高可以达到94%，这也就意味着现在买1PB容量，实际损耗不会超过100TB，如果和2副本和3副本这种数据保护方式相比，纠删码的技术能够大大提升空间的使用效率，在一些大规模容量的场景，明显节省空间，提升空间使用效率。
分布式存储依托于联想ThinkSystem服务器扩展能力，既可以横向扩展，也可以纵向扩展，纵向扩展中，就是直接通过单节点加 JBOD方式，增加盘柜之后，单个节点就可以达到1.6 PB的容量，到三个存储节点的话，最小集群的就能提供4.8 PB的容量，这种组合只需要一个机柜，非常适合追求性价比、大容量但是机房空间资源有限的客户。在横向扩展上，DXN单个集群可以达到4096个节点，支持超过100亿文件数量，支持管理磁盘的数量超过500万，在线增加这些节点的时候，数据会自动的均衡打散到所有节点上面。采用纵向扩展方式的存储节点+JBOD的方式，在一个节点下支持这个磁盘数超过了90块。
有人会问，磁盘数量越多，磁盘故障概率不就越大吗？有没有更好的方式来应对这些挑战呢？这是有的。针对大容量节点，我们一般会采用EC纠删码折叠技术，就像动画一样，假设现在是6个节点，如果采用4+2的保护模式，它可以同时预防，把数据的分成4个数据片和两个校验片，放在六个节点上，假如两个节点同时都发生了故障，这个时候可以通过剩下节点上保护好数据，再加上纠删码的数据，把丢失的数据算回来。这是一种经济的保护方式。
假如说现在是三个节点，正常情况下只能使用2+1纠删码的方式，因为纠删码根据节点来进行计算，能够预防坏掉一个节点，不会存在数据丢失的风险；但是当两个节点上都有磁盘损坏情况下，就会存在一定的数据丢失风险。预防这个问题的做法是，把物理的节点做成虚拟的节点（Vnode），这样三台物理节点就变成六个逻辑节点，就可以尝试做4+2的纠删码方式，这样的逻辑节点划分能够有效应对不同节点同时坏掉多块盘的风险，数据仍然能通过剩下的磁盘上的数据和纠删码的数据算回来。
快照在文件存储中是一个比较常见的数据保护方式，通过快照可以实时数据文件备份，也可以通过快照来做数据的恢复。传统的文件快照是一旦说对父目录做了快照，就不能再对子目录拍照了，假如现在一个部门有不同的组员，他们有各自工作的目录，他的工作进度也不相同，只采用一种快照方式，那么其他组员其实也是进入快照保护。假如有数据要恢复的话，有的组员就变的非常不方便。
嵌套式快照是有加强型的一种快照保护方式，能够对父目录、子目录进行解绑，同时对每一个目录包括子目录和父目录各自做快照，随时随地保护用户的数据，非常适合在多部门协作共同使用分布式存储的场景。
通过SSD盘来加速缓存读写，能够有效提升小文件处理效率。SSD缓存能够同时对读和写的加速效果，在读这种场景下，SSD Cach能提升读的命中率，在写的这种场景下小文件会先写到SSD缓存盘上，对上层应用确认之后再回写到HDD磁盘上。对大文件，一般可以选择磁盘直写模式，即绕过SSD缓存，利用多块磁盘的并发能力来提升总体带宽一种效率，这样在面对大文件和小文件的时候能够轻松的应对，因为在小文件时候主要看IOPS，在大文件时候主要看带宽。
内部测试表明，启用SSD缓存模式和不启用SSD缓存模式下的直写模式，性能相差了76%，而且只用了一块SSD缓存盘；根据性能的要求增加SSD缓存盘的数量，能大大提升分布式存储节点性能。采用全对称式架构，元数据是部署在所有节点上，因此，集群的性能会随着节点数据量线性增长。
更多的企业存储设计
在分布式存储设计中，我们还有很多企业级的设计，比如硬盘的数据校验，能够对这存储的数据文件进行定期校验，是不是有些损坏，或者因为比特位的反转造成数据文件的损害或者数据丢失。一旦发生问题的话，会及时进行恢复，这是磁盘一个叫数据校验的功能，同时也有些磁盘的亚健康的检测，能够有效检测哪些磁盘存在潜在的问题，去定位故障、分析原因，而且也增加了对安全域的支持。
DXN目标应用概览
联想凌拓分布式存储在各行各业都有一些适用的应用场景。
在广电领域，一些视频的素材存储或者是编辑、分发，需要一些大容量、多并发处理场景，还有在金融行业的影像平台、双录系统或者无纸化办公，大规模数据湖，以及PACS系统存储等，大多数的时候是要求具有海量、高可靠以及能够处理海量数据性能这样的能力。
来看一个实际的医疗行业PACS系统应用案例。
我们知道，在医院里有许多检查设备，包括了X光、CT、核磁、超声或者显微镜等，这些检查设备的统称为医学影像设备，为医学诊断或者减轻患者痛苦提供很大的帮助，管理这些影像设备的系统就叫PACS系统， PACS系统就是把一些影像设备产生各种的文件，通过各种接口进行存放和使用，所以PACS系统是医疗系统核心的生产系统，高可靠性和大容量是PACS影像系统存储首要要求。
卫健委在2017年实施电子病例提出一个业务管理规范，明确要求电子病历必须要有医疗机构来保存，要求患者最后一次就诊的记录不少于15年保留期限，住院病历保存期限不少于30年，这就要求PACS具有海量数据存储和管理能力。
PACS影像文件中一般是以小文件为主，从几十K到几百K不等，可以想象，一个患者从拍片到拿到报告差不多2到3个小时，所以PACS系统具有能够并发处理大量小文件读写，具备海量存储大容量和高性能、可靠性，一般来说都是采用文件存储方式，而且分布式特点也是比较符合这种场景的。
联想凌拓为南方某医院PACS系统存储架构提供了端到端的存储解决方案。PACS系统采用的是文件，后端对应文件的共享协议，后端NFS作为PACS后端访问协议，因为客户对数据安全和场景保存是有要求的，在这里也去考虑两层架构：第一层数用是闪存设备——FAS系列高数值处理能力应付日常大规模的并发量比较高的访问，但是闪存相对来说价格比较高，因此，它的容量配的其实也不多，为了安全起见，我们同时把数据保存到分布式存储DXN上，防止万一闪存出现问题的时候能够立刻接管应用系统，然后把数据跑到DXN分布式存储上。
这个架构使使用了三个节点构成一个集群，未来可以根据需求在线扩展，可以自动进行均衡打散。
分布式大容量的可靠性、高性能，也能够帮助用户应对一些大规模的这个数据的增长，以及数据的长期存放等问题。
医院的医疗系统不仅仅只是作为门诊和其他应用系统来使用，还要供给其他一些业务系统来使用，包括像CT、X光片或者超声波等，还要应用到在一些科研领域，这个时候可以直接从分布式存储上对数据进行拷贝来给其他用户来使用。
DXN分布存储是基于云原生这种架构的，它的这种大容量、安全可靠以及高性能，完全符合PACS系统对于存储的设想和需求。
时间原因我今天分享就到此为止，非常感谢大家！
“2022分布式存储线上峰会”，由百易传媒（DOIT）与厦门大学信息学院联合主办，中国计算机学会信息存储专委会、中国计算机行业协会信息存储与安全专委会、武汉光电国家研究中心协办，旨在推动分布式存储技术发展与应用。
