需求分析

随着农行业务的快速发展和公司治理要求的不断提高，各类应用系统产生的数据量急速增加。据初步统计，目前农行各应用系统每年产生的非结构化数据已经超过1PB（1024TB），结构化数据也以百TB计，加之已归档的历史数据，总数据量已经需要以PB为单位计算。如此大量的数据，如何存储，如何管理，如何利用，如何盘活它们，使之转化为生产力，都是摆在农行科技工作者面前的问题。

2012年7月起，在信息技术管理部的推动下，软件开发中心技术引入业内广受关注的“大数据”技术，并对相关的技术及其在银行内应用可行性进行了充分的研究，明确了大数据处理技术在农业银行的应用场景，基于对大数据处理技术的研究与应用工作，并对文件管理、历史数据查询以及数据分析类应用进行原型研究的基础上，农行正式完成在大数据处理和应用方面的技术初步落地，为信息时代数据爆炸式增长所带来的海量数据存储及分析应用需要提供可靠解决方案。

方案架构

农行该项目全套方案采用曙光XData大数据一体机系统，系统拓扑如下：

XData 大数据一体机，由 1个 管理节点， 2个namenode，42个datanode组成，存储接近600TB容量数据，随着业务数据量的增加，系统通过简单扩展硬件的方式保证符合业务对容量和性能的要求。

方案价值

农行采用曙光XData大数据一体机系统，满足系统对于并发用户数和性能的要求，能够支撑农业银行历史数据查询和分析业务，为推动农行业务持续不断创新奠定基础。

高可靠性：系统全年7*24小时无间断服务。

高可用性：服务器故障情况下，系统仍能稳定工作，并保证数据完整性和可用性。

灵活扩展：通过增加存储设备，容量可以平滑的扩展，性能可以同比提高。当性能（并发访问、IO带宽）不足时，简单通过扩展硬件即可同比地扩展系统的总体性能。

高性能：提供每秒数十万的记录导入速度，百亿级规模记录随机点查询秒级返回。

低成本：在大规模部署时，该系统有总体价格优势。

易开发：系统对外呈现单一入口，并提供类JDBC和SQL访问接口，便于业务的开发及移植。

易管理：提供图形化管理界面，方便用户对系统进行管理和监控。