数据存储产业服务平台

Cleversafe放弃HDFS 推出MapReduce

专业对象存储厂商Cleversafe想在Big Data分析市场占得一席之地,它已经推出了MapReduce。同时,它放弃了HDFS,因为它认为这种存储格式易受损坏而且浪费存储容量。

MapReduce是开源数据存储软件Hadoop的分析部分。它处理存储在Hadoop的分布式文件系统(HDFS)中的信息,HDFS采用了单一的元数据服务器并复制了3份文件副本以防硬盘出现故障。

象Cleversafe的dsNet那样的对象存储系统主要被用于储存大量连接结点上的大量数据。它将元数据分布在Slicestor结点系统的各个地方,从而实现自动修复功能。 除了增加HDFS功能之外,它还给每个Slicestor结点增加了MapReduce。

Cleversafe称,它只保存了MapReduce数据的一份副本而不是三份,在存储需求由TB级增长到EB级以及PB级的过程中,这样做的成本显然会更低一些。它并不能预防因为元数据服务器故障导致的数据损失,因为元数据是分布在多个地方而且受到保护的。据Cleversafe称,这比Hadoop更好一些。

不需要将MapReduce服务器分离,大多数Slicestor MapReduce应用都可以在各自所在的结点存取数据,而不用到网络各处去存取数据,因此系统的效率可大大提高。

增加Cleversafe的结点数量可以增加存储容量,但是对于原始数据和元数据来说,这么做还可以增加整体性能。它补充说,dsNet系统可以扩展至EB级甚至PB级的存储容量。

据说洛克希德马丁正与Cleversafe合作开发一款适用美国联邦政府部门使用的dsNet。

第一个MapReduce版本的dsNet应该会在年底之前准备好,随同Cleversafe 3.0软件发布。预计3.1版Cleversafe软件在2013年发布的时候,还会增加对第三方管理工具比如Cloudera和HortonWorks的支持。 这些产品或许需要Slicestore结点硬件升级来应付增加的处理、内存和网络负荷。

未经允许不得转载:存储在线-存储专业媒体 » Cleversafe放弃HDFS 推出MapReduce