曙光海量数据处理平台XData系统
任新勃 发表于:12年10月10日 14:36 [来稿] 存储在线
随着信息技术的不断发展,大规模数据密集型应用系统数据量呈现指数级上升的趋势,这其中主要有两方面的原因:(1)数据的产生和获取手段变得越来越先进,比如来自各种各样的传感器网络/物联网的数据,互联网/移动互联网终端的数据,以及各种数码设备和智能终端产生的数据等;(2)对数据的处理要求也越来越高,包括对数据库中结构化数据的查询,文本检索以及音频视频等非结构化数据的检索等。在这两个方面的原因的推动下,迎来了数据爆炸式的增长,业界称之为“大数据时代”的到来。大数据时代,信息越来越成为国家和企业发展的战略资产,大数据分析和挖掘也为长远发展提供了决策支持的基础。
XData系统是曙光公司立足于当前大数据处理的时代背景下,自主研发的通用海量数据处理平台。XData系统支持对海量的结构化和非结构化数据的高速写入,按照语义的存储组织,以及查询检索和统计分析。XData系统将数据存储单元和处理单元分离,通过构架高效的服务中间件,将底层采用无共享(shared-nothing)结构的数据存储节点,聚合成一个单一的数据处理系统映像,达到较高的数据读写并发度,计算并发度,以及良好的系统扩展性,可靠性和可维护性。
XData对外提供统一的类JDBC的客户端编程接口,向下管理分布在不同存储节点上的不同类型的数据,并提供简易的用户管理界面。XData系统的核心技术包括自动的服务注册和负载均衡,可扩展的数据划分和分布策略,高效的批量数据加载,通用的并行查询分析和处理引擎,结构化和非结构化数据的统一访问驱动,不同类型数据之间的联合查询和检索,以及全方位的系统故障和恢复处理等多项技术。
XData海量数据处理系统可以广泛的应用在通信数据统计,互联网/移动互联网的日志和用户行为分析,物联网/传感器网络的数据监控和追踪分析,以及金融交易数据的离线统计和挖掘等众多领域。