深度揭秘淘宝自主研发的文件系统??TFS

InfoQ 崔康 发表于:10年07月09日 13:39 [转载] DOIT.com.cn

  • 分享:
[导读]淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用的分布式文件系统,针对海量小文件的随机读写访问性能做了特殊优化。

InfoQ:未来TFS的发展计划如何?

TFS未来的开发首先仍然会立足于淘宝网自身的业务需求,同时会照顾开发社区中的需求。我们会逐步支持大文件的存储,也会支持目 录和用户权限,同时计划实现按照访问特性分布的分级存储,尽量在性能和成本之间达到一个平衡,还有一些更加精细化的管理功能,例如数据量配额的管理等等。 从上面的一些讨论来看,我们不大会做一个通用的分布式文件系统,始终会专注解决当前尚无很好解决方案的问题。

InfoQ:您在博客中提到9月份建立TFS开源社区,这对国内社区是个绝佳的学习机会,请问目能否再描述一点开源的细节?

TFS计划在9月底开源,而今年6月底,淘宝网将推出自己的开源社区--code.taobao.org,TFS 将完全基于这个开源社区进行开源,大家马上就可以看到。同时已经基本确定使用GPL V2开源版权协议。

InfoQ:对于有志于参与到TFS或者目前从事其他类似系统级核心应用的开发人员来说,请问有什么好的建议?

对于有志于参加TFS开发,或者自身已经在从事基础平台、核心系统研发的同行,我相信大家都有相同的感受,在当今计算机体系结构 内,我们很难有革命性的技术进展。当前已知的大规模的分布式文件系统都构建在Unix类操作系统之上,或者说绝大部分都构建在Linux之上,这也是从成 本方面进行的考量。而各种分布式文件系统架构也大同小异,决定是否成功的关键在于细节,这些细节包括操作系统级别的特化、文件系统级别的特化、实现方面是 否足够优秀、足够稳定等等。因此你需要对系统内核有所了解,对文件系统有所了解,比如你知道EXT3的组织方式才可能尽量避免读取一段数据却引发多次磁盘 磁头移动的情况,这样你才能最大化的利用好系统资源。而实现的特化可能体现在一个优秀算法的编写、一个高效的通信机制等等,这就要求你有扎实的代码编写能 力,对算法和数据结构有颇深的造诣。大家都知道,细节决定成败!

InfoQ中文站将继续关注TFS等国内自主研发文件系统的发展,也欢迎大家发表自己的看法。

专家介绍

李震,花名楚材,工作于淘宝技术研发部核心系统研发,负责存储组的开发,关注领域主要包括大集群分布式系统的研发、海量数据处理、海量数据检索等 等。

[责任编辑:李旭阳]
lxy
3月31日,硬盘厂商希捷同中国家电厂商海信在北京联合宣布了战略合作关系。两家厂商表示,将共同推动SATA通用存储模块(USM)规范在中国市场的应用。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.