曙光智慧城市大数据解决方案
任新勃 发表于:13年05月23日 15:58 [来稿] 存储在线
概述
“智慧城市”就是充分利用信息通信技术,通过智慧的感知、分析、集成为政府在行使经济调节、市场监管、社会管理和公共服务政府职能的过程提供一个优化的基础设施、融合的信息资源、协同的业务应用环境。随着物联网技术、云计算技术的发展,城市的生产生活模式正发生革命性变化,城市的智慧化已成为继工业化、电气化、信息化之后的发展潮流。
据权威机构国际数据公司IDC统计,至2010年,全球产生的数据达9880亿GB,年复合增长率为57%。下述数字可以佐证数据增长的事实:AT&T的网络每天流动16PB的数据,Google 每天处理20PB的数据,Facebook每天存储1PB的照片,Youtube存储了31PB的流媒体数据。Cisco公司预计:到2012年每个月网络上视频流大约为5Exabytes(5000PB)。除互联网,呼叫详细记录,天文学,大气科学,基因组学外,政府日常办公、呼叫服务中心、政务信息,医疗记录,和大规模的电子商务等各类应用系统都需要面对急剧增长的大量数据。
随着各行各业的信息化建设的开展和信息化水平的提高,各类信息资源日益丰富。但是各信息化项目所产生的信息资源由于在建设过程中缺乏统筹规划,缺少统一的数据标准和规范,存储分散,缺乏共享或共享服务质量与效率不高,并且缺乏深度开发和综合利用,相关系统建设的时间成本、经济成本较高。城市建立在分割的领域之上,城市管理者所需的全局的关键信息往往被埋藏在各个城市机构的独立部门的不同系统中,他们无法获得管理所需的清晰视图用于决策。城市日常管理面临错综复杂的业务流程以及各种盘根错节的业务系统,但处理城市级的问题往往需要大量历史和实时的相关数据,形成360度的全景视图,这才有助于城市管理者做出时明智的决策。因此,智慧城市针对大数据应用和分析存在很多问题:
城市管理者无法获知实时状态,并进行实时的整理和分析,同时要能够下达相关的指令对各相关单位进行调动和指挥。
既有系统针对专门领域,不关注其他领域应用。各机构的工作,没有对事件、事故或潜在危机的整合性单一视图,就无法快速分享信息,在事件规慧聚典范力量 引领城市锋尚划与执行中,缺乏领域与领域间的协作与交流,很难整体协调。
城市每天的运作产生了大量来自不同渠道的数据,但城市常常缺乏可视化并抽取有用信息。
因此,需要从整合现有信息资源并为未来的信息化建设提供统一支撑的角度,打破各个系统间数据不能共享的现状,实现空间信息和非空间信息的统筹管理、统一服务、共享共用。针对共享的信息资源通过专业的基础架构实现不同数据的快速查询、统计、关联等操作,为政府各级领导和各业务应用对象,提供有效支撑业务应用、领导决策和内外部的信息共享。
方案架构
曙光智慧城市大数据整体架构主要包括计算机网络及硬件平台、系统软件和硬件设备及其运行环境组成,主要包括信息网络、服务器、数据存储备份系统和大数据分析挖掘平台。
数据存储:针对政务信息结构化数据和非结构化数据曙光提供精细化的数据存储解决方案,采用传统FC SAN和并行存储系统分别对结构化和非结构化数据进行高效管理,实现对信息资源的统一更新、维护、管理、检索和服务。
数据交换:信息资源行业数据交换体系提供数据提取、数据发送、数据接收、数据转换、数据传输等方面的功能,建立通用的数据交换标准和各级信息交换平台,形成各级数据中心之间、相关单位信息系统之间数据交换与共享的机制,实现信息交换与共享的技术系统。
大数据分析挖掘平台通过在专用存储服务器上,构架大数据处理中间件系统,加速海量数据的存取和处理的性能。大数据处理一体机底层支持结构化数据处理的数据库系统,同时也支持非结构化数据处理的Hadoop平台,以及文本检所和其他类型数据的处理,在上层采用中间件技术,将对不同类型的数据处理进行抽象和统一,实现各类数据处理的融合。
应用层:主要包括领导桌面系统、基于数据中心的业务应用以及对外共享服务应用。
业务应用
领导桌面系统是数据中心建设中的一个重要应用,是以信息资源数据中心为数据支撑,为领导提供信息综合展现及领导辅助决策支持。
充分利用数据中心资源,切合领导用户重点关注内容,采用智能化数据分析技术、多方位多维度展示数据信息,能够实时、及时、准确传递数据信息,为领导的重大决策提供及时、准确、全面的数据支持。
方案优势
空间数据与非空间数据管理一体化
以空间数据为核心,以地址数据为关联,实现空间数据和非空间数据的一体化管理,为业务应用、领导决策和信息共享提供统一的信息基础支撑。
结构化数据与非结构化数据异构精细化管理
在数据存储解决方案设计上曙光提供结构化数据和非结构化数据分别存储和管理的差异化、精细化的解决方案,对结构化数据采用FC SAN网络实现与数据库系统的联通;非结构化数据采用IP SAN并行网络存储设计理念,具有较高的读写性能,为用户前端体现及领导决策分析提供良好的平台支撑。
业务数据与多维分析数据管理一体化
在业务数据统筹管理的基础上,构建领导决策支持多维数据库,通过ETL工具,实现业务数据与多维分析数据的及时同步,服务长期跨领域信息分析和领导决策支持。