Facebook研发新技术解决照片归档问题
wangfei 发表于:12年10月18日 13:14 [编译] 存储在线
Facebook用户每月上传的照片容量高达7PB,Facebook正在考虑如何将这些数据保存下来。
据Facebook基础设施工程副总裁称,随着照片数量的增长,Facebook需要找到一些成本更低、能耗更少的方法来储存这些照片。
Facebook的基础设施工程副总裁杰伊帕里克(Jay Parikh)周三在阿姆斯特丹召开的欧洲结构大会上说,用户们每天上传大约3亿多张照片。 他说:“万圣节是一年中用户上传照片数量最多的日子之一。仅在万圣节当天,我们大概就会得到10亿到20亿张照片。”
他说:“用户们很快就会对他们在万圣节期间拍摄的照片失去兴趣,过不了几天或者几周,他们就再也不会去看那些照片了。但是我们与客户达成的协议规定,我们不能删除它们,我们必须保存好那些照片。因此,我们考虑将那些照片以‘冷藏’的方式保存起来。” 为此,Facebook计划建立一个新的数据中心,其中配备各种不同的存储设备、服务器和网络设备,那些设备的成本和能耗应该比现有数据中心里的设备更低,但服务器响应时间不会发生变化。
但是,Facebook的这种冷藏式保存方案效率如何呢? 数据中心的成本和能耗降低之后,是否会以牺牲访问速度为代价呢?
例如,将数据保存在磁带上,可以降低能耗,但是也会严重降低数据存取的速度。
亚马逊网络服务AWS推出了Glacier云存储服务,据说可以取代磁带存储解决方案。那项服务特别适用于储存访问频率低、允许检索时间长达数个小时的数据。
但是据帕里克称,那样的速度太慢了,Facebook无法接受。他说:“你在5年前或者10年前保存的一张照片,如果需要好几个小时甚至更长的时间才能检索出来,我无法接受这样的速度。它应该仍然具备相对的实时性。”
目前的大多数数据中心都需要处理大量任务,因此具备巨大的计算能力,能耗也非常高。帕里克说,Facebook考虑的冷藏技术则是另一个极端方案。 他说:“你需要很多很多的存储空间,但是你不需要很多的电能。”他补充说,为了解决Facebook面临的这个庞大的问题,与数据中心有关的一切都需要重新考量。
帕里克称,Facebook正在研究那种能够知道如何以及将过时的数据保存在基础设施中的什么地方的软件,那意味着随着时间的推移,数据的副本将会被移动到不同的地方,使用不同的基础设施。软件方面的某些创新可以让Facebook在降低数据存储成本的同时保持快速响应速度。
他说,在未来的一两年内,冷藏技术将会成为Facebook基础设施的一部分。Facebook打算通过开放计算工程(Open Compute Project)公开和分享它认为有关联的部分。开放计算工程是Facebook为了将开源软件协作模式应用到数据中心硬件领域而启动的一项计划。