深度揭秘淘宝自主研发的文件系统??TFS
InfoQ 崔康 发表于:10年07月09日 13:39 [转载] DOIT.com.cn
InfoQ:未来TFS的发展计划如何?
TFS未来的开发首先仍然会立足于淘宝网自身的业务需求,同时会照顾开发社区中的需求。我们会逐步支持大文件的存储,也会支持目 录和用户权限,同时计划实现按照访问特性分布的分级存储,尽量在性能和成本之间达到一个平衡,还有一些更加精细化的管理功能,例如数据量配额的管理等等。 从上面的一些讨论来看,我们不大会做一个通用的分布式文件系统,始终会专注解决当前尚无很好解决方案的问题。
InfoQ:您在博客中提到9月份建立TFS开源社区,这对国内社区是个绝佳的学习机会,请问目能否再描述一点开源的细节?
TFS计划在9月底开源,而今年6月底,淘宝网将推出自己的开源社区--code.taobao.org,TFS 将完全基于这个开源社区进行开源,大家马上就可以看到。同时已经基本确定使用GPL V2开源版权协议。
InfoQ:对于有志于参与到TFS或者目前从事其他类似系统级核心应用的开发人员来说,请问有什么好的建议?
对于有志于参加TFS开发,或者自身已经在从事基础平台、核心系统研发的同行,我相信大家都有相同的感受,在当今计算机体系结构 内,我们很难有革命性的技术进展。当前已知的大规模的分布式文件系统都构建在Unix类操作系统之上,或者说绝大部分都构建在Linux之上,这也是从成 本方面进行的考量。而各种分布式文件系统架构也大同小异,决定是否成功的关键在于细节,这些细节包括操作系统级别的特化、文件系统级别的特化、实现方面是 否足够优秀、足够稳定等等。因此你需要对系统内核有所了解,对文件系统有所了解,比如你知道EXT3的组织方式才可能尽量避免读取一段数据却引发多次磁盘 磁头移动的情况,这样你才能最大化的利用好系统资源。而实现的特化可能体现在一个优秀算法的编写、一个高效的通信机制等等,这就要求你有扎实的代码编写能 力,对算法和数据结构有颇深的造诣。大家都知道,细节决定成败!
InfoQ中文站将继续关注TFS等国内自主研发文件系统的发展,也欢迎大家发表自己的看法。
专家介绍
李震,花名楚材,工作于淘宝技术研发部核心系统研发,负责存储组的开发,关注领域主要包括大集群分布式系统的研发、海量数据处理、海量数据检索等 等。