2013年12月27日存储在线编译:众所周知,数据存储需求正在急速暴涨。据IDC的专家预测,预计在2020年,全球的数据总量将达到40ZB,平均每个人拥有的数据总量也将达到5247GB。这相当于地球上所有海滩上沙子数量的57倍。
开源社区开发出了一系列工具来帮助人们来应对数据存储、数据管理和数据安全方面的问题。今天我们来谈谈其中58个最好的开源工具。这些软件当中有的用来配置SAN,有的用于SAN的实施,有的用来优化程序的备份和恢复,此外,还有一些RAID工具以及一些其它的工具。
如果你觉得还有一些开源工具是我没有提到的,欢迎各位给出评论。
NAS/SAN 软件
1.Ceph将自己描述为“分布式对象存储和旨在提供高性能、高可靠性和扩展性的文件系统”。它建立RADOS上,允许企业使用经济的存储设备来搭建企业级的存储方案。操作系统:Linux
2.FreeNAS。FreeNAS的网站上宣称自己是“最为坚如磐石的NAS开源软件”,它的用户中有联合国,救世军,佛罗里达大学,美国国土安全部,菲尔博士,路透社,美国密歇根州立大学和迪斯尼。你可以将标准的硬件变成基于BSD的NAS设备,不然你也可以考虑花钱买配置好TrueNAS的设备。操作系统:FreeBSD
3.RedHat旗下的Gluster是一个分布式的文件系统,可以处理的最大数据高达72 brontobytes。它具有高可用性和性能,弹性散列algortithm,弹性卷管理器等等。操作系统:Linux
4.Lustre为Xyratex公司所有,Lustre是一个高度可扩展性的文件系统,可带来快速的性能体验。它还可以处理“几万节点和PB级存储”。请注意虽然Lustre和Gluster看起来有点像,但是这完全是两个东西。操作系统:Linux
5. NAS4Free跟FreeNAS类似,可以很轻松的用标准的硬件创建基于BSD的存储解决方案。它是一个低成本,功能强大的网络存储设备,用户可以钉子自己的需求。操作系统:FreeBSD
6. Openfiler旨在构建一个可轻松结合NAS和SAN两者功能的解决方来。它的下载量已经超过一亿次,用户包括摩托罗拉、惠普、BillMelLater和伦敦大都会警察。另外它还支持付费使用。操作系统:Linux
7.OpenSMT跟OpenFile类似的,可以用来创建带有SAN和NAS功能的存储设备。ZFS支持文件系统。操作系统:OpenSolaris
8.Open Media Vault。这个NAS解决方案非常易于使用,可以快速设置,提供不间断电源支持和统计报表功能。它是基于Debian,提供了一系列插件来增强其扩展性。操作系统:Linux
9. Turnkey Linux是一款支持超过基于100种不同的软件设备的开源软件。其中之一是一个提供了网络附加存储的文件服务器。操作系统:Linux
10.ZFS这一流行的文件系统并入了其它许多开源项目。它提供了出色的可扩展性,保证数据的完整性,而且还支持大多数的Linux发行版。操作系统:Solaris、OpenSolaris,Linux和OS X,FreeBSD
RAID
11.DRBD通过将RAID-1加入到网络当中,DRBD带来了高可用性的存储。LinBit可以为大家提供支持和培训。操作系统:Linux
12.Mdadm。Mdadm的Linux内核使得它可以使用标准的硬件来设置和管理自己的RAID阵列。它同时还提供报告功能。操作系统:Linux
13.Raider适用于Raid 1,4,5,6或者是10的硬盘驱动器。在很大程度上依赖于Mdadm.操作系统:Linux
14.RaidEye这个有用的工具可以帮助您监视基于OS X的Raid阵列。它在后台运行,如果它侦测到一个错误,它将会给你发来一封邮件。操作系统:OS X
15.Salamander这个项目旨在让人们可以更简单的在Linux上使用Raid。在官网上写道“蝾螈是唯一可以断肢再生的脊椎动物。同样的,Salamander也可以使硬盘驱动器在发生故障之后再生”。操作系统:Linux
16.SnapRAID备份磁盘阵列,主要用来存储家庭媒体集合。及时阵列中同时有两个磁盘出故障也能保证数据恢复。操作系统:Windows、Linux和OS X
备份和同步
17.AMANDA。“马里兰网络磁盘自动归档”,又名AMANDA,备份到磁带或硬盘驱动器。通过Zmanda就可以得到付费版本和云的版本。操作系统:Windows、Linux,OS X
18. Areca Backup。Areca旨在做到简单和通用,对于备份单个系统来说这是一个不错的选择。主要功能包括压缩、加密、过滤和增量备份。操作系统:Windows, Linux
19. BackupPC专门为企业用户设计,BackupPc宣称它是“高度可配置,易于安装和维护”。它只能备份到硬盘,能显著减少存储空间和I/o次数。操作系统:Windows, Linux
20. Bacula是一个企业级的开源的备份软件,提供了一系列备份和恢复的高级功能,并提供简单易用的接口。通过Bacula系统可以提供得到培训等服务。操作系统:Windows、Linux
21.ClonezillaClonezilla被公认为可以取代True Image或Norton Ghost的一款产品,这款磁盘镜像应用可以完成系统调配任务以及裸机备份与恢复。操作系统:Linux
22.Create Synchronicity最大的特点是其小巧性,只有220KB。它的速度也非常快,它为独立系统提供了一个直观的备份界面。 操作系统:Windows
23.FOGFOG是另一款镜像和克隆解决方案,它可以帮助管理员备份各种规模的网络。它还提供了很多其他的功能,包括病毒扫描、内存测试、磁盘清除、测试盘和文件恢复等等。操作系统:Linux,Windows
24.FreeFileSync它是一款文件和文件夹同步工具,对于备份非常有用。它可以节约大量的时间,得到了用户们的广泛好评。 操作系统:Linux,Windows,OS X
25.FullSync是专为开发者设计的一款同步工具软件,它提供的同步功能适用于备份或出版网页。它提供了多种可选的模式、灵活的工具以及支持多种文件传输协议等。 操作系统:Linux,Windows,OS X
26.GrsyncGrsync为流行的命令行同步和备份工具rsync提供了一个图形界面。它对于磁盘分区的备份、镜像和复制来说非常有用。 操作系统:Linux,Windows,OS X
27.LuckyBackup是一款获奖产品,可以提供简单快捷的备份。需要说明的是,虽然它有一个Windows版本,但是其最初的开发平台是Linux,而且Windows版本并不太稳定。 操作系统:Linux,Windows
28.Partimage这款镜像软件对于建立系统的恢复分区或用相同的镜像去安装多个系统来说非常有用。它的速度非常快,支持从一个系统向同网络上的另一个系统进行备份或从一个分区向同磁盘上的另一个分区进行备份。 操作系统:Linux
29.RedoRedo已经被下载了750多万次,据说它的使用非常简单,任何人都会用。 除了备份之外,它还可以在10分钟内完成裸机恢复工作。操作系统:Windows,Linux
30.Synkron你可能从它的名字上就能够猜到了,它是一款数据同步工具。其关键特点包括黑名单、分析和恢复等。 操作系统:Windows,Linux,OS X
31.UrBackup是一种客户端-服务器系统,支持文件备份和镜像备份。它对系统配置几乎没有任何要求,支持增量备份,而且几乎不会对系统性能造成任何的影响。 操作系统:Windows,Linux
在线数据存储
32.FTPbox这款应用允许用户在他们自己的服务器上建立基于云的存储服务。它支持FTP、SFTP或FTPS文件同步。 操作系统:Windows
33.Pydio这款应用之前的名称是AjaXplorer,它可以帮助企业用户在他们自己的服务器上建立一个文件共享服务。它的安装过程非常容易,还提供了一个漂亮、直观的界面。 操作系统:Windows,Linux(可选Android和iOS客户端)
34.SparkleShare也是一款自托管云存储解决方案,非常适合用来储存那些经常发生变动以及被很多人访问的文件。(它并不适用于完整备份。) 由于它是为开发者设计的,因此它也包括了Git。操作系统:Windows,Linux,OS X
35.SyncanySyncany与Dropbox很相似,但是你可以在自己的服务器上或是象亚马逊、谷歌或Rackspace那样的公共云服务上运行它。它可以本地加密文件,从而增加敏感文件的安全性。 操作系统:Windows,Linux,OS X
存储管理
36.Libvirt Storage ManagementLibvirt是一个存储虚拟化API,允许用户建立存储池和存储卷。它配备了适用于各种流行的管理程序的驱动程序。 操作系统:Linux
37.OHSMOnline Hierarchical Storage Manager或OHSM有助于控制存储成本,它可以按照预先制定好的政策将数据在高价和低价存储媒介之间移动。管理员可以先制定好分配和重新定位的政策。 操作系统:Linux
38.oVirt这款工具可以让管理虚拟化环境包括虚拟化存储的工作变得更加容易,它的可扩展性极高,还包括了一些高级安全功能。 操作系统:Linux
压缩
39.7-zip这款有用的压缩工具支持多种压缩格式,包括.zip和.7z等,相同的文件以.7z格式压缩后的尺寸比按.zip格式压缩后的尺寸还要小70%。它还包括了AES-256加密功能。 操作系统:Windows,Linux,OS X
40.ArcConvertArcConvert曾经多次获奖,它可以在几十种不同的格式间转换归档文件。它可以自动检测密码,而且它支持好几种不同的语言。 操作系统:Windows
41.ArcThemALL!对于压缩或提取成批的归档文件特别有用。它支持3种不同格式的文件压缩和33种不同格式的文件提取。操作系统:Windows
42.Keka这款工具仅支持Mac电脑,它可以为OS X提供7-zip压缩。与原版7-zip压缩一样,它也可以支持十余种不同格式的文件提取。 操作系统:OS X
43.PeaZip这款应用兼容150多种归档文件格式。它可以压缩、转换、分割、加密和安全删除存储的文件。 操作系统:Windows,Linux,OS X
数据粉碎
44.BleachBit对于存储经理们来说,BleachBit的安全删除功能是最有用的。如果你在一台PC上使用它,它还可以通过释放高速缓存、删除cookie,清除历史上网记录、粉碎临时文件、删除日志文件和粉碎其他垃圾文件来提高性能和保护隐私性。 操作系统:Windows,Linux
45.Darik的Boot And Nuke这款应用可以安全地擦除整个硬盘,以便让硬盘上的数据无法得到恢复。Blancco还提供了收费版产品,其中有些产品支持RAID。 操作系统:任何操作系统
46.Eraser这款实用工具可以安全地删除个别文件。它还包括了一款非常有用的计划程序。 操作系统:Windows
47.FileKiller它也是一款安全文件删除工具,这款应用允许用户根据即将被删除的数据的敏感性决定在删除的数据上面复写新数据的次数。它的速度很快,可以处理大型文件。 操作系统:Windows
文档管理系统(DMS)
48.bitfarm-Archiv Document Management这是一款专业工具,目的是帮助大型企业或组织轻松完成文档的归档和管理工作。它还提供了付费企业版和相关的付费服务。 操作系统:Windows
49.DSpaceDSpace是一款备受好评的软件产品,它自称是为学术界、非营利性组织和商业机构建立开放性数字资源库的理想软件。它提供了一个网络界面,安装也非常容易。 操作系统:Windows,Linux,OS X
50.EpiwareEpiware提供了可定制的和基于网页的文件抓取、管理、存储和共享功能。它还提供了付费支持服务。 操作系统:Windows,Linux
51.LogicalDOC这是一款面向大中型企业的文档管理系统,不要求对最终用户进行任何培训。它还提供了付费企业版和云版本。 操作系统:任何操作系统
52.OpenKM基于各种标准的OpenKM包括很多实用的功能,比如版本控制和文件历史,元数据,扫描,工作流和搜索等等。它还提供了一些协作和社交功能。 操作系统:任何操作系统
加密
53.AxCryptAxCrypt已经被下载了将近300万次,它是一款面向Windows平台的领先开源文件加密软件。它可以与Windows文件管理器和各种云存储服务比如Dropbox、Live Mesh、SkyDrive和Box.net等协作。 操作系统:Windows
54.CryptCrypt非常小巧,只有44KB,它的加密和解密速度非常快。你不需要安装它,它可以从U盘上运行。 然而,用户们需要知道的是,它没有图形用户界面。操作系统:Windows
55.Gnu Privacy Guard(GPG)Gnu采用了OpenPGP标准,允许用户加密和标记数据和通讯。它是一款非常成熟的项目,已经被开发了十六年之久。 操作系统:Linux
56.gpg4win原版的GPG只能在Linux平台上运行,但是这个版本将它引入了Windows平台。它的安装非常容易,包括了适用于Outlook和Windows Explorer的众多插件。 操作系统:Windows
57.GPG Tools为了避免让OS X平台的用户感到被忽略,这个项目将GPG引入了Mac平台。最新版本支持Mavericks以及老版本的OS X系统。操作系统:OS X。
58.TrueCrypt这款实用的工具软件非常流行,它已经被下载了将近3000万次。它可以加密单个文件或整个磁盘或磁盘分区。 操作系统:Windows,Linux,OS X