项目背景

为推进全网数据流量的精细化经营，提升数据流量经营效益，河南移动与曙光公司合作进行经分系统流量经营分析工程的建设。河南移动的资源池项目是构建内部共享的业务支撑云，本项目建设是着眼于未来业务计算需要，实现根据竞争情况和客户需求，加快实现流量的实时计费和提醒，优化数据流量资费体系，降低套餐内外的资费水平差距，提高精细化营销能力，不断提高客户的满意度和大幅度降低流量投诉。

该平台首先用于经分业务，基于平台来提高数据处理速度，为公司业务开展提供数据支撑。

其次，采用该平台处理每月账单，以现有传统Oracle数据库集群 + 小型机 + 高端FC磁盘阵列的模式，暂时能够保证每月1日按时提供用户账单，但以每年15%的数据增长量，用户估计一年后就难以满足需要，因此需要搭建一个处理能力更强，扩展性更高的平台来替代现有系统。

方案介绍

曙光公司依据在分布式计算领域多年的积累和研究提出了基于IB网的Hadoop分布式计算平台的方案。

本项目采用150台A620r-G双路服务器构建Hadoop平台，100台A840r-G四路服务器构建数据库处理平台，全系统以Infiniband网络互联，系统平台的IB网络设计中，所有的网络设备的连接均采用冗余设计。首先，每台服务器配置两个IB端口，IB端口通过冗余绑定方式分别与两台不同的汇聚交换机相连；此外通过高度冗余的三台二层交换机将所有汇聚交换机连接为统一的子网，最大限度的提高系统的冗余度和节点间通信带宽限制；两个IB网关设备底层各自与两台二层交换机相连，上层分别与一台路由器连接，上层的两台路由器通过VRRP技术实现IB网关的冗余连接，保证当任意一台网关或路由设备出现故障时，底层服务器均有链路连接到上层网络。

方案价值

采用上述方案，该系统实现了Ethernet、Fibre channel、Infiniband三网融合，最大可能的满足Hadoop集群和数据库处理平台的高速通讯的需要。