引言部分:
随着云计算、大数据和人工智能技术的不断进步,数据存储作为技术革新的核心,其重要性日益凸显。在这一背景下,DOIT传媒推出《2024数据存储力量》专题系列文章,旨在深入探索数据存储领域的最新发展,分享行业领军企业的创新实践以及市场前沿动态。
《2024数据存储力量》专们将为大家介绍被称为新一代全闪软件定义存储领导者的大道云行TaoCloud。
公司历史和背景:
公司介绍:
大道云行是新一全软定存领的代表厂商,这是一家坚持长期主义理念的全闪存企业,手中掌握全自研、高性能、容量型、低碳型全类产品,其产品线包括高性能分布式全闪存块存储产品FASS、海量对象数据存储系统FOSS,以及高性能分布式文件存储产品FAFS,可分别满足云计算、智能制造、AI/HPC等高性能业务场景的存储需求。
成立时间:2015
创始人:刘爱贵
创始人简介:大道云行CEO刘爱贵,中科院博士、中国计算机协会( CCF )存储专委会专家,深耕存储领域二十余年,拥有存储相关发明专利十余项,发表学术论文10余篇。
公司发展历程与重要里程碑:
2015——大道云行创立,启动SDS1.0研发。
2016——TaoCloud正式发布XDFS产品,致力为用户提供更专业的存储产品。
2017——发布第一代信创产品,获得国家高新企业认证。
2018——启动SDS2.0研发,团队成功构建创新产品技术壁垒。
2019——加入工信部信创委员会,跻身SDS存储第一梯队。
2020——全闪FASS产品首发,引领全闪存储新篇章。
2021——启动全闪文件系统发,续加全闪SDS3.0术研。
2022——重庆大道云行总部成立,TaoCloud获国家“专精特新”小巨人奖项。
2023——TaoCloud正式发布FOSS新品,安徽大道云行总部成立。
产品和服务概况:
主要产品和服务类型:
大道云行主要提供分布式存储软件、分布式存储一体机、以及相应解决方案与技术咨询支持服务。大道云行的分布式存储产品线已从SDS 1.0全面转向SDS 2.0(全闪存分布式存储),产品线包括高性能分布式全闪存块存储产品FASS、海量对象数据存储系统FOSS以及高能分布文件存产品FAFS,可别满足云计算、智能制造、AI/HPC等高性能业务场景的存储需求。
产品的技术特点和优势:
早在2019年,大道云行就开始了对全闪存分布式技术的研究与产品布局,并陆续推出基于全闪存分布式技术的块存储、对象存储以及文件存储产品。他们针对闪存介质的特性设计,结合多核CPU处理能力与无损网络技术,可以提供远高于传统分布式存储的IO处理能力,满足众多新兴业务场景越来越高的存储性能需求。
1、FASS全闪分布式块存储:FASS是SDS 2.0的代表产品,支持弹性扩展和标准网络访问,在原生分布式架构基础上,采用kernel_bypass、并行流水线、微控制器、端到端NVMe、裸盘管理等技术。可轻松实现千万级IOPS性能和百微秒级延迟,为企业提供弹性可扩、高性能的块存储服务,满足云计算等业务的苛刻性能和动态增长需求。
2、FOSS全闪分布式对象存储:这是一款分布式对象存储产品,适用于海量数据存储以及新兴业务场景,它采用先进的分布式全闪架构,以数据的长期、可靠、绿色低碳、高性能存取为目,支持超规模数据弹性存储FOSS软件采用弹微计算流水线架构,提供高OPS和高带宽存储服务,支持海量文件数据的高并发吞吐,有效将非结构化数据高效存取使用转变为企业的核心生产力和竞争力。
3、FAFS全闪分布式文件存储:在人工智能技术推动下,AI/大模型、生命科学、自动驾驶、视觉特效、科研仿真等技术应用越来越广泛,新兴业务不仅要求超高算力,对存储系统的存力也提出了更严苛的需求,企业存储系统开始朝着高并发、低延迟、海量文件、云/容器化方向发展。FAFS是针对以上场景IO特性自主研发的高性能全闪文件存储系统,它基于原生分布式架构及NVMe介质,可以提供高带宽、高OPS、低延迟高性能文件储服务,适于各类AI用、EDA、HPDA以及云计算等业态场景,助力用户发掘新的数据价值。
针对的市场、场景或者行业用户群体:
1、FASS分布式全闪块存储可以提供高IOPS、低延迟、弹性扩展的块存储服务,适用于虚拟化、裸金属云、云桌面、数据库等业务场景,满足政企、航天航空、互联网、金融、科研、广电等行业的高速数据处理需求。
2、FOSS分布式全闪对象存储可广泛应用于广电媒体、卫星/气象/地质数据、工业互联网、大数据采集、数据湖、视频监控、备份归档等业务场景,满足政企、航天航空、互联网、金融、科研、制造等行业的数据存储和处理需求。
3、XDFS布式统一存储弹性的Scale-out集群架构能够迅速响应用户不断增长的容量及性能需求。可广泛应用于安防、云计算、融媒体、人工智能、HPC、大数据等场景,满足交通、广电、医疗、科研、政府军工等行业的需求。
4、FAFS提供的高性能文件存储服务可以同时满足新兴业务场景的弹性扩展、并发小文件访问需要,可广泛应用于AI/大模型、EDA、HPC/HPDA、科研仿真、融媒体、高清非编大数据等场景,满足金融服务、泛互联网、科研高校等各类需求。
合作伙伴和客户案例:
主要的合作伙伴和供应商:海思、宝德、超聚变、金山云、航天壹进制等国内知名IT厂商
信创认证:与飞腾、鲲鹏、海光、龙芯、兆芯、申威等主流国产CPU,银河麒麟、统信等主流国产操作系统,金山云、EasyStack、ZStack、安超云等国产主流云计算系统均通过兼容性互认证。
成功的客户案例或合作项目:
成功案例:央视网、中科院空天院、清华、北大、新华社、北医三院、复旦大学医学院、广州电信、山西电信、云从、商汤、中国人寿、中国电科、长沙超算中心、航天科工
未来规划和发展方向:
公司的长期战略和未来发展计划:
大道云行将秉承“全闪存储,自主研发”战略理念,致力于推动技术创新和产业革新。深度拓展人工智能、金融信创等领域应用,提升业务处理效率。响应国家信创战略,积极推进信创替换目标。同步将实施“出海计划”,以全球视野带动企业建设,不断提升国际竞争力,实现跨国经营与资源共享。
Q&A环节
1,做好分布式企业存储的关键技术有哪些?可结合贵司产品展开介绍一下。
分布式存储相较于集中式存储,其核心优势在于分散式存储带来的高可靠性、可扩展性和性能优化。然,这种架构带来了数据一性、容错性、能和管理等多挑战。大道行自2015年起专注分布式存储研发,推出的XDFS、FASS、FOSS产品均采用分布式架构,深谙技术细节的重要性。
在分布式存储中,元数据管理至关重要。我们采用分布式元数据管理架构,配备定制的分布式KV数据库,确保原子性、一致性和轻锁特性,提升系统可扩展性和可靠性。
数据一致性是另一关键。我们融合强一致性协议Raft与MVCC技术,确保并发读写数据的一致性和跨节点操作的原子性。
在数据冗余策略上,我们平衡数据冗余、存取效率与性价比。通过优化编码算法与并行计算,提升计算效率,实现90%以上的空间利用率
性优化是分布式储的关键。我们采用灵活分片、负载均衡、计算与缓存优化等技术,确保系统性能最优。特别地,FASS采用XPE加速引擎、Kernel Bypass,虚拟内存管理等技术,充分挖掘和利用基础硬件的性能潜力。
此外,我们重视数据安全性与隐私保护,采用加密、认证、授权等技术,结合WORM、多版本、快照等功能,确保数据的安全可靠。
2,FASS全闪分布式存储、FOSS全闪对象存储、FAFS全闪文件存储产品设计背后有哪些思考?三个产品之间的关系是怎样的?
随着闪存的不断成熟和普及、成本日益下降,SSD闪存盘取代HDD机械硬盘是大势趋,基于HDD的分式存储(SDS1.0)在朝全闪存分布存储(SDS2.0)转变然而,全闪存的布式存储并非简单的介质替换,真正意义上的全闪存储必须对软硬件架构进行重新设计:硬件上增加CPU处理能力、拓宽通道带宽,利用无损网络;软件上采用新的存储协议、规避系统开销、优化IO路径、增加磨损平衡与垃圾回收机制,才能实现真正意义上的分布式全闪存存储系统。
在硬件上充分利用多核CPU、高速PCIE总线和无损网络的能力,在软件上针对全闪存介质的特性进行深度优化与打磨,大道云行分布推出了FASS全闪分布式存储、FOSS全闪对象存储、FAFS全闪文件存储产品,分别提供高性能块存储、对象存储、文件存储服务。
这三个产品都是典型的SDS 2.0品,对全闪存介质优化设计,采用原生分式存储架构,不依特定硬件,有强大弹性扩展能力,能整合多个服务器节点的硬件资源并对外提供高性能存储服务。FASS、FOSS、FAFS都有很好的SSD亲和性和硬件利用效率,结合多核CPU、无损网络以及NVMe等技术,能够真正发挥出全闪存的性能,满足苛刻场景的需求。
FASS是大道最早的全闪存分布式存储产品,主要提供弹性的高性能块存储服务,可轻松达到千万级IOPS以及微秒级延迟,支持iSCSI、NVMeoF、Cinder、CSI等存储接口,适用于对存储性能要求较高的虚拟化、云计算、数据库等场景。
FOSS是面向海量文件场景设计的全闪存对象存储产品,他借鉴了FASS的高性能全闪存架构,并在其基础上开发了对象接口,可以足智能制造、金融双、AI/AIGC等新兴场景对性能对象访问的需求同时也可以支持传统企业静态数据、备份档的经典对象应用场景。
FAFS面向高并发吞吐、海量小文件高速访问等场景,采用全闪存架构的高性能文件存储产品,可以提供高OPS和低延迟的文件存储服务,适用于HPC/HPDA、EDA、AI、高清非编等高性能文件应用场景,可以取代高性能国外传统存储,通过SDS方案提供高性能文件访问。
3、FOSS全闪对象存储,用户接受度如何?会不会担心成本问题?是否会继续推出更冷的存储层级产品?
FOSS作为基于SDS 2.0新一代软件架构的对象存储产品,凭借卓越的高性能与可扩展性优势,在企业IT系统建设中脱颖而出,赢得了众多客户的青睐。目前,FOSS已成功应用于能制造、金融保险、档备份及人工智能等多个域,其出色的性能与极高的性价比获得了客户的高度认可。随着数据湖、机器学习(ML)、人工智能(AI)、深度机器学习(DML)、生成式人工智能(AIGC)以及大型语言模型(LLM)等多样化数据需求的涌现,企业越来越认识到可操作数据的信息价值。这一趋势正推动FOSS市场快速增长,并使其受到越来越多数据企业的信赖与青睐。
FOSS在设计上显著提升了系统性能的上限,却并未增加客户的使用成本。它实现了卓越的性能加速,有效缩短了应用响应时间,从而助力企业实现更高的生产力、更迅速的洞察、更快捷的决策、更短的上市时间以及更快的独特收入/利润增长。同时,FOSS在设计之初就深入考虑了高性价比的需求,通过提供分层、压缩等功能,不仅满足了业务系统的支撑需求,更在价格上做到了极致优化。
目前市场上主流的存储介质包括SSD、HDD、磁带和蓝光光盘。FOSS已经支持SSD和HDD的分层存储,从而覆盖了当前主流的热温数据存储需求。至于剩余的存储介质,如磁带和蓝光光盘,它们主要被用作归档备份应用来存储冷数据,更适合与归档备份软件配合使用。在目前的方案层面,我们支持FOSS向更冷的数据层级进行数据迁移。然而,在产品层面,我们目前并没有将冷存介质嵌入的计划。但请放心,我们会密切关注市场需求,并根据实际情况灵活调整产品策略。
4、近几年以来,贵司主打的产品或者市场是哪些?
产品:FASS全闪分布式块存储、FOSS全分布式对象存储、FAFS全闪布式文件存储。
行业及场景:AI人工智能、信创、金融科技、超算智算、数据要素、智能制造、军工等行业
AI:通过全线产品及解决方案满足AI工作流程不同阶段对存储的需求,包括学习训练阶端容器/云支撑底座,大规模训练阶段的高性能全闪文件存储解决方案,数据采集阶段的对象存储需求,以及推理、归档阶段的高性价比文件存储系统。
信创:全面适配国产化平台,满足用户不同场景下的信创需求,主要包含金融、政企信创替换,金融开发测试平台信创环境的构建,信创环境下的政务云等场景
5、对于存储市场的趋势,特别是对于全闪的发展前景有哪些判断?
首先,中国缺少专业的存储厂商、内需市场大。
随着闪存技术的不断进步,未来全闪存储SDS的性能和容量将持续提升。新一代闪存设备、存储介质和存储架构的出现将推动全闪SDS实现更高的性能和更大的存储容量。
而随着全闪介质技术的不断成熟,成本则趋于不断下降趋势,大多数应用场景对于全闪SDS的需求也越来越旺盛,因此全闪SDS市场在不断地扩大。
而在国内SDS厂商中,大多数厂商都是基于开源开发的全存储系统,无论从性能还自主可控方面都难以满用户的需求,因此,自研发的全闪SDS产品将会有很的竞争优势和市场份额。大云行作为新一代全闪软件定义存储领导者,拥有自主研发全系列分布式存储产品,手握行业高性能存储解决方案,为广大用户提供专业技术服务。
未来,SDS领域定会朝着全闪方向发展,全闪SDS将会继续向高性能、智能化、多云集成、容器化和安全性等方向发展,以满足用户在数字化转型和数据驱动业务中的存储需求。