2EB最大单一存储集群
普通个人电脑硬盘一般为500GB,1TB大约等于两块电脑盘,1 PB大约等于2000块电脑硬盘,1EB大约相当于两百万块个人电脑的硬盘,1EB数据量假设用的10TB磁盘的话也需要10万块,如此规模的硬盘摞在一起相比也是非常壮观,更何况要在企业数据中心交付的话,需要非常多的硬件设备。
2020年8月18日,在杉岩数据的品牌战略暨新品发布会上,CEO陈坚介绍说,杉岩数据最大单一存储集群规模达到了2EB。按照上述粗犷的估算方法,大概需要20万块硬盘,一块3.5寸的盘大约600g,20万块大概是12吨,普通轿车的重量大约在1.5到2吨,算下来就是6到8辆轿车的重量,够形象了吧。
韩信点兵,多多益善,大规模军队作战难点在于如何高效地组织起有效的进攻和防守,对将领的要求非常高。而杉岩数据组织20万块硬盘的操作同样考虑组织能力,杉岩靠的是软件层次上的创新,将成千上万个硬盘组织起来构成一个集群,在技术上也是非常大的挑战。
2EB最大单一存储集群的出现,是用户用行动证明了对于杉岩数据这样一家存储公司的认可。如此大规模的部署案例,这家分布式存储公司再也不能低调了。
杉岩数据是谁?
杉岩数据是一家来自深圳的软件定义存储厂商,杉岩数据的名字音译自SandStone(砂岩),砂岩是一种沉积岩,主要组成是地壳最常见的成分,而杉岩数据做的软件定义存储依靠的是最常见的通用服务器,在此基础上加入软件存储系统。
从IDC给出的市场数据来看,杉岩数据在中国对象存储市场份额排在第二位,在块存储市场也排在第五位,整体软件定义存储市场份额能达到第六位,是一家主流的软件定义存储厂商,在市场上扮演重要角色。
企业级存储市场通常需要慢工出细活儿。杉岩数据成立于2014年,仅仅六年后的2020年就有如此成绩还是非常令人羡慕的,不久前,杉岩数据还宣布获得了1.5亿人民币的B+轮融资,收获市场和资本双重认可,在品牌战略暨新品发布会上,还有有包括华为和阿里云等技术合作伙伴,以及许多行业用户站台。
杉岩数据的崛起之路
2014年,在深圳一个不到三十平的民房里,有几位码农在电脑前忙碌着,一位中年男子,一会儿负责做饭,一会儿负责扫地,灯泡坏了估计还是他负责换,这位中年男子就是陈坚,而这,就是杉岩数据创始成员最早的办公地点,团队成员除了陈坚以外,另外几位小伙伴全都负责写代码。
杉岩数据的初始创始成员包括陈坚在内,主要都来自华为的企业存储业务部门,原本做的业务就与分布式存储相关,对普通人来说从华为出走其实需要不少勇气,华为待遇其实非常好,2014年的华为存储也正处于快速成长期,眼看着业务蒸蒸日上其实想走更难,创业很累不说,还要很多不确定性,除非是对要做的事情非常有把握。
2014年,开源云的浪潮袭来,以OpenStack为代表的开源云方案收获大量拥趸,中国技术才赶上了这波浪潮,与全世界开源爱好者一道做起了开源云,软件开发者越发意识到了软件所能创造的价值,有人说软件能定义一切,对于做基础技术的人而言,软件定义存储也从概念一步步变为现实。
Ceph作为OpenStack推荐的存储方案,也很快变得家喻户晓,使用OpenStack和Ceph的企业用户也非常多,以电信运营商为主的大型企业客户在大规模使用OpenStack方案。同时,国内出现了许多基于Ceph的开源存储解决方案供应商,杉岩数据就是其中的典型代表。
基于Ceph开源项目做企业级存储方案并不容易,Ceph只是技术方案,而企业对于存储方案的稳定性和可靠性要求非常高,将技术转变为经过验证的产品方案需要经过长期的打磨过程,各种辛苦只有杉岩自己最懂。
2020年8月18日,杉岩数据六周年前夕召开的这次品牌战略暨新品发布会,是杉岩数据第一次正式的发布会,标志着杉岩数据正式走上台前,结束了低调期。
CEO陈坚将过去六年分为两个阶段,2014年到2017年期间是产品打磨期,打磨产品的可靠性、稳定性、可用性和可维护性,先是2015年发布了杉岩统一存储平台USP,随后2016年发布海量对象存储MOS,应对海量非结构化数据存储的场景。这一阶段积累了第一批行业头部客户,比如中国移动、深圳供电局、广发证券等。
第二阶段,产品趋于成熟的同时开始大规模推向市场,很快,市场取得了突飞猛进的成果,在金融、电力、能源、医疗、教育等等十多个行业和20多个应用场景收获500+客户,上线的总容量超过了3000PB,单一集群数据规模2EB达到中国最大。
此外,杉岩还是中国云计算标准单位成员之一,中国去年发布的云存储的国标中杉岩是参与标准制定的单位,行业影响力提升。
从2014年到2020年,杉岩数据在6年内总共完成了4轮融资,包括天玑数据、顺为资本、广发乾和、深圳担保集团、中远海运、襄禾资本以及无锡金投都是杉岩数据的投资方,有行业和政府方面的资金,资金方全都是以人民币的方式注资。
陈坚强调,杉岩数据是一家技术驱动型公司,200名员工中有60%都是研发人员,但企业级存储产品的研发要靠技术更要靠经 验,杉岩数据的核心研发人员,平均在存储领域研发经验在7年以上,杉岩数据有一支强大的研发队伍,为杉岩数据贡献了40多项发明和专利。
如今的杉岩数据俨然已是一家独立的存储新势力。
杉岩数据的发展要点与技术创新
作为存储行业的老兵,陈坚将存储发展总结为三个阶段,第一阶段的重点是存好数据,第二阶段是管理好各种数据,当下所处的第三阶段是用好数据,这个时代的特征是智能。陈坚认为,真正的智能存储应该具有数据感知和应用感知的能力,存储系统能够帮助上层应用做数据的处理和智能的调度,帮助应用做加速和优化。
智能是杉岩数据未来的一大发展方向,发布会现场,杉岩数据发布了新一代杉岩融合智能大数据存储解决方案,另外一个重点是国产自主可控,为此,杉岩发布了华岩安全存储一体化解决方案。
杉岩数据的对象存储是传统强项,杉岩数据CTO邱尚高介绍了对象存储的最新消息。新的对象存储V6版本在存的能力上有突破,文件规模理论上可以达到1000亿,单桶文件数支持30亿个。通常情况下,文件数的增多将影响到性能表现,但杉岩数据的整体系统性能表现非常平稳,性能仅下降10%。
与阿里云深度合作构建强化版混合云。以前许多混合云都只是能将本地存储的数据归档到公有云上,而杉岩数据与阿里云构建的混合云能进行双向数据同步,不仅如此,业务还能同时在公有云和私有云上运行,还可以进行业务的平滑迁移。
强化异构纳管能力。在异构方面,V6版本能够纳管如开源的对象存储、金融行业应用较多的Documentum、FileNet、 FastDFS等第三方的对象存储,帮助客户缩短数据迁移时间,保护用户现有投资。
智能处理引擎功能。在杉岩对象存储里面,可以用插件对各种处理组件(OCR识别,或者全文识别,或者人脸识别、车辆识别、机器学习领域等等)进行结合,将非结构化数据转化为结构化数据,提升数据的价值和使用效率,为AI、机器学习等领域的业务赋能。
MosFS主要解决了机器学习对于高吞吐和低时延的需求问题,在上层利用内存以及SSD等技术来加速数据访问。同时,结合业务感知能力,为数据做一层高速缓存来保障机器学习的性能。MosFS还可以把计算存储的本地存盘组成一个分布式的缓存层,加快训练速度。
面向大数据,杉岩对象存储通过替换传统HDFS存储来降低成本并提高性能,做法是提供兼容HDFS的接口,把HDFS的数据归集到统一的存储上,帮助客户实现非结构化数据跟半结构化数据或者结构化数据的完全统一。
华岩国产化一体机是一款统一存储产品,这款产品是基于统一存储产品软件构建的产品,底层采用国产处理器和国产服务器,对外提供标准的块存储以及标准的文件接口和对象接口,满足复合型的业务要求。目前该产品底层处理器支持华为鲲鹏,飞腾,海光,操作系统采用基于信创的麒麟和统信操作系统。
结语
2020年8月的这次品牌战略暨新品发布会是杉岩数据第一次正式发布会,高调介绍2EB最大单一存储集群的项目,高调进行产品发布,这意味着韬光养晦的日子正式告一段落了。