当今世界,网络信息技术日新月异,大数据等新一代信息技术的出现,推动智慧产业、智能产业、各类大脑等应运而生,推动社会从信息科技时代进入智能科技时代。
政策与需求共推大数据应用向前发展,云平台升级迫在眉睫
近年来,我国大数据产业发展取得了显著的成效:
一是发展环境持续优化。国家层面《促进大数据发展行动纲要》等文件,加快落地实施国家大数据综合实验区公共信息资源开放,有关大数据的相关政策和文件。多层次协同推进大数据发展的管理,应该说已经基本形成。
二是产业生产加速,技术创新不断取得新突破。涌现出一批有带动力和影响力的龙头企业,以及众多创新特色输出的中小企业,上下游企业密切互动的产业格局初步形成。
三是大数据应用已经从互联网营销、广告等领域逐步向电信、交通、金融、医疗、教育、政务等广泛渗透,有战略性的大数据典型应用的案例不断涌现。大数据与各行各业的深度融合是新动能在加快的推进,是全社会应用大数据的氛围越加浓厚。
大数据产业的迅速发展,使得各行各业的企事业单位的业务产生大量数据。传统的云平台通常采用IaaS-PaaS-SaaS(亦即基础设施即服务-平台即服务-应用即服务)三层解耦方式部署,不同层、不同应用、不同租户的数据的整个生命周期都是孤立的,这种方式在一定程度上存在与业务关联性不足、数据管理混乱、无法做到数据共享及隔离等问题,随着平台的扩展,数据会呈现指数级上升,而运维、运营难度亦陡然增加,企业云与大数据融合和治理迫在眉睫。
浪潮云海OS升级大数据管理能力,为IT转型上好“四保险”
浪潮将云平台与大数据深度融合,增加大数据服务层(DaaS),实现平台内部自下而上所有数据的整合和治理,IaaS、PaaS、DaaS、SaaS统一权限管理,并以统一目录方式对租户提供服务。
生产环境注重业务连续、平台稳定及数据安全性,考虑到大数据处理效率、HDFS多副本导致的冗余消耗及大数据应用的快速开发部署等诸多因素,浪潮采用大数据平台物理机部署、大数据应用云上部署、“云上”应用调用“云下”大数据平台能力,并通过统一云管平台实现虚拟集群及大数据集群的统一管理(智能监控,运维自动化、计量计费)、用户统一认证并提供统一的对外服务目录,实现了高效大数据处理、合理数据冗余、快速的应用部署、以及基于RBAC权限访问和以VDC维度的资源管理,最大限度发挥云计算与大数据融合的优势。
在IaaS层,使用浪潮云海平台InCloud OpenStack及大数据平台InCloud Insight实现物理设备(服务器、存储、网络等)云化,并形成虚拟化资源池、裸金属资源池及大数据资源池,向上层提供计算虚拟化、存储虚拟化(块存储服务、对象存储服务、文件存储服务)、网络虚拟化及大数据服务。
在PaaS层,通过基础环境适配器(Cloud Provider Interface),浪潮弹性分布式操作系统(IOP)能够直接调用IaaS能力,并向上提供基础资源服务、计算服务、数据/大数据服务、应用中间件服务、开发支撑服务及多媒体处理服务等六大类功能。其中基础资源服务包含弹性云主机服务、对象存储服务、负载均衡服务、网络服务及VDC服务。计算服务则利用大数据能力提供离线计算服务(用于批量计算、指标汇总计算、数据挖掘等场景)、实时计算服务(用于TB级以上数据实时读写和数据实时分析等场景)、流式计算服务(用于实时布控、实时监控预警、实时统计等实时性要求非常高的场景)、内存计算服务(用于批处理,SQL查询,流式处理以及机器学习等),全方位支撑上层的数据治理和应用。
浪潮云数融合方案IaaS&PaaS架构图
在DaaS层,由数据集成、数据治理、数据处理、数据服务组成,覆盖数据从产生、传输、存储、初加工、细加工到应用及销毁的全生命周期。以数据资源为核心的理念,充分利用云平台基础设施与云平台提供的各类计算服务,对业务各种来源的各种类别数据进行整合汇集、存储组织、分析处理以及标准化管理,并以服务、接口等形式提供给上层各类应用。在数据集成阶段,能够接受不同数据源(如内网数据库、行业文件库、应用系统日志等)和不同数据类型(结构化数据、非结构化数据、半结构化数据等),并提供集成工具及数据格式转换工具实现数据标准化,上层应用可无差别地调用各类数据。数据集成之后会进入数据治理环节,实现数据类别规划(定义不同安全要求等级数据不同的访问权限及方式)、数据质量管理(划分数据质量等级及存储方式)、数据仓库(可根据业务维度划分)及数据服务总线(提供数据访问控制)。而数据处理层则负责提供面向业务的各类功能引擎(档案引擎、索引引擎、对比引擎、分析引擎及计算引擎等)及相应的调度服务,上层应用可通过提交任务形式调用以上引擎服务,轻松实现数据的并发异步调用。数据是企业的重要资产,为最大化提高数据的价值,平台对外提供数据资产运营中心,实现数据资产超市、数据资产管理、数据共享交换机数据价值评估。上述所有数据加工环节,均以RPC或API接口方式对应用开放服务,以专业的数据服务使得应用层能更加聚焦业务的孵化和加速。
在SaaS层,分为两方面应用:基础应用(邮件、办公应用、日志系统等)和业务自定义应用。通过调用IaaS、PaaS、DaaS层服务接口,应用开发商可快速完成高可用、高并发的业务应用的开发和部署。
通过这四层,浪潮云数融合方案能够提供全方位的IaaS-PaaS-Daas-SaaS云化能力,亦提供了计算能力强大,覆盖离线计算、在线计算、内存计算、流计算等典型大数据应用场景的大数据平台,同时特有的云数融合方案,实现数据不同层、不同应用、不同租户从数据采集-数据集成-数据治理-数据处理全数据生命周期的管理,让客户在云数时代乘风破浪,永立潮头。