随着信息化的快速发展,金融机构产生的各类数据近年来呈几何级数增长,形成了海量的数据。特别是电子服务渠道所产生的非结构化和半结构化数据,增长更为迅速。基于这些数据的金融业务创新,已经成为亟需解决的主要任务之一。
证券交易所是金融行业不可或缺的机构之一,上海证券交易所成立于1990年11月26日,同年12月19日开业,受中国证监会监督和管理。上海证券交易所致力于创造透明、开放、安全、高效的市场环境,其主要职能包括:提供证券交易的场所、设施和服务;制定和修改证券交易所的业务规则;审核、安排证券上市交易等等,经过28年的快速成长,上海证券交易所已发展成为拥有股票、债券、基金、衍生品四大类证券交易品种、市场结构较为完整的证券交易所;拥有可支撑上海证券市场高效稳健运行的交易系统及基础通信设施;拥有可确保上海证券市场规范有序运作、效能显著的自律监管体系。依托这些优势,上海证券市场的规模和投资者群体也在迅速壮大。
截至2017年末,沪市上市公司家数达1396家,总市值33.1万亿元;2017年全年股票累计成交金额51.1万亿元,日均成交2095亿元。当前,上交所TD数据仓库平台容量性能不足,且无法扩容,难以满足上交所业务规模扩展的需求,也无法承载新应用的部署上线,为此,上交所计划打造全新的大数据平台,上交所规划建设大数据平台,逐步迁移替换TD数据仓库平台的数据和应用。
为此,上交所与华为展开合作,采用华为大数据平台建设大数据存储、查询、分析的统一平台,快速构建海量数据信息处理系统,通过对巨量信息数据实时与非实时的分析挖掘,发现全新价值点和商业价值,整合内外部风险数据,实时预警监控,行内数据实现全生命周期可用,为业务创新创造坚实基础。
此次与上交所的合作,华为为上交所提供基于FusionInsight解决方案,帮助上交所打造全新的高效稳定的大数据平台,具体包括以下几个方面:
1.上交所采用华为FusionInsight解决方案,华为给上交所提供了基于FusionInsight解决方案构建大数据平台,主要部署了Elk、HBase、Flume、Kafka、Flink等组件,为上交所大数据平台提供数据仓库、明细查询、日志采集、消息订阅发布、实时处理等功能,分别承载TD数据仓库迁移、运营监测、即席查询等应用服务。
2.华为FusionInsight解决方案为上交所提供了统一的大数据平台,同时支撑数据仓库和实时流处理、实时检索等,提在升了大数据平台扩展能力的同时,也降低了整体建设成本。未来华为有望与上交所一同建设主备生产环境,承接所有核心应用。
3.基于华为FusionInsight大数据平台,采用融合架构建设的上交所大数据平台,包含实时处理平台功能和离线处理平台功能,同时支撑实时预警、运营监测等实时功能,以及Portal服务、Ad-Hoc查询、数据服务等批量应用。不仅如此,上交所还借助华为FusionInsight大数据平台的Elk分布式数据仓库,实现了TD数据仓库平台的迁移。
在华为FusionInsight解决方案的帮助下,上交所成为打造出高效稳定安全可靠的大数据平台,为未来数据业务的不断发展提供了坚实的技术支撑。正如上交所一位项目负责人所说:“在本次大数据平台建设中,上交所之所以选择与华为合作,除了华为FusionInsight解决方案具有高可靠性之外,华为还能够提供快速响应客户需求的研发能力,以及快捷的售后服务,这就为上交所建成后的大数据平台的运行解除了后顾之忧,也成为我们值得信赖的IT供应商。”
未来,华为也将推动大数据深入应用于金融业务场景,金融业对大数据应用正在逐渐深入,传统的数据分析的方法已无法满足金融业务的要求,必须采用更先进的大数据技术对交易系统和管理系统日益增加的海量数据(包括结构化、非结构化、半结构化数据,如交易记录、日志流水、客户信息、管理信息等)进行存储、分析、挖掘、应用。
为此,已经将大数据看做是ICT战略重要支柱的华为公司,正积极推动大数据在金融科技领域的研发和应用。
