2013年,大数据(Big Data)的热潮席卷全球,大数据改不仅仅变着企业现有的运营模式,核心的用户数据将成为业务决策的重要依据,同样影响着企业未来的赢利能力。IT行业的目光聚焦于大数据,快速增长的大数据背后隐藏着巨大的商业价值,同样也为数据所有者,分析服务机构和IT解决方案提供商带来新的发展机遇。
从Google、Facebook、沃尔玛等国际公司大数据应用的成熟完善,到阿里巴巴、新浪、 百度等国内互联网企业纷纷开展大数据分析,以现有浏览行为和阅读偏好为基础分析数据,挖掘出更多新的商业机会。
大数据概念的起源
2008年9月4日《自然》(Nature)刊登了一个名为“Big Data”的专辑,大数据(Big Data)概念首次提出,该专辑对如何研究PB级容量的大数据流,目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。
2009年7月O’Reilly Media出版社出版了一本名为“Beautiful Data”的书,揭示了大数据在预防犯罪、航天工程、药品研发、社交网络等多个领域,近20个基于大数据处理的应用实例,呈现了大数据独特的魅力所在,对于读者而言分析和利用数据、开展分析将是一件引人入胜的事情。
随后关于大数据的讨论成为热议的话题,微软出版了“第四范式—数据密集的科学发现”; 2012年3月29日,奥巴马政府公布了“大数据研发计划”,投资超2亿美元以改进从海量和复杂的数据中获取知识的能力,同一天,我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”把大数据研究列在首位。
大数据引发热议
关于大数据还没有一个统一的定义,但这不影响着对其的研究和探讨,接下来从各分析机构的观点来认知、了解大数据。
Gartner—高德纳咨询公司
研究机构Gartner给出了这样的定义,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
同时Gartner认为大数据将成为用户的主流业务,不仅在近十年大放异彩,而且同样会和ERP企业资源规划、CRM供应链和客户管理以及其他应用系统一样,成为常规业务应用。
IDC—国际数据公司
IDC通过研究并预计,到2020年全球数字信息将增长44倍。而全球90%的数据都是在过去两年中生成的,其中2011到2012年全球所创建的数据内容增长了48%。
由于数据量的激增,在全球范围内,大数据技术与服务市场将会以31.7%的年均复合增长率增长,到2016年,全球大数据技术和服务市场将达到238亿美元,而中国将成为全球最重要的大数据市场之一。
如何应对大数据
在大数据时代背景之下,由于各行业的数据激增,如何有效管理和分析数据,做出最有利的决策,从而保障业绩的快速增长?如何从大量数据中运用机器学习、数据挖掘、自然语言处理等技术挖掘出有价值信息?这些就是CIO需要首先解决的问题。
无论搜索引擎还是电商,从传统行业数据库到商业系统数据仓库,每天都会产生大量的数据,这些数据里面涵盖了一些非常有价值的信息,挖掘出这些价值可以直接或间接为企业和机构带来利润。
从 庞大数据量中发现新的商业机会,用户对数据库的要求不再是单纯的存储功能,如何从海量数据(包括结构化、半结构化和非结构化数据)中提取有用的信息,快速 准确的反映出来成为新的商业模式。依托于来自内部和外部资源的信息流,企业将拥有多样的发展机会,通过将原有理性决策改变为数字决策,整合全新的业务模 式、决策流程以发现更多样化的发展机会。
众志和达(英文SOUL),作为中国信息存储、数据安全与应用领域领先的解决方案与服务提供商, 针对IT系统面临大数据的挑战难题,先后推出海量大数据存储及归档工具,业务系统的数据同步工具,大数据挖掘、计算和管理平台,满足IT中心的多样化海量 数据,多种应用的计算与管理需求。
海量大数据存储及归档工具— SureSave DCS1000高性能企业级分布式计算存储系统
面 对海量大数据的信息存储、数据归档及管理难题,SureSave DCS1000分布式计算存储系统为用户提供了一个功能强大、运维简单且经济的解决方案。SOUL 自主研发的DCSFS文件系统提供了智能横向扩展的核心基础,当用户的业务系统数据激增时,DCS 存储节点以标准化的企业级模块设计,灵活地应对存储性能及容量的急剧扩展需求,同时为用户构建一个高性能、高可扩展、安全可靠的分布式存储基础平台。
业务系统的数据同步工具—SureSave DSP1000数据挖掘辅助系统
SureSave DSP1000是专为企业级用户定制的数据挖掘辅助系统,通过镜像功能可保证与原有业务系统数据保持同步。为了配合数据挖掘系统,DSP可对镜像的数据进 行自动克隆、挂载、启动应用系统,数据挖掘系统即可在查询机中对克隆数据进行抽取转换,既保证挖掘系统中获得的数据的有效性,同时又不影响业务系统的正常 运行,解决了数据挖掘与业务稳定运行之间的矛盾。
大数据挖掘、计算、管理平台—SureSave BDP大数据计算与管理平台
SureSave BDP是基于SureSave DCS分布式数据计算存储系统的数据挖掘工具,通过分布式存储平台和Map/Reduce并行计算框架,添加数据计算节点来扩充计算资源,有效利用各个节点的并行计算能力,支持Linux操作系统和主流的关系型数据库。
SureSave BDP整合了各种分散的数据源,并依据每个数据源的特性和 API,寻找不同层级数据之间的联系,通过重建一个新的数据层,并用图形化的方式将此展现给数据分析师。同时SureSave BDP会提供了多种算法来处理数据。
SureSave BDP大数据计算与管理平台基于数据挖掘全生命周期,以挖掘模型为核心,能够以更加灵活、快速的方式满足用户的需求。SureSave BDP不仅可以帮助客户收集和处理来自网络和多元化数据源,还能结合分析客户的私有数据,以帮助客户更好地发觉商业契机和新的趋势,而且通过将信息可视 化,帮助客户用最简单的方式了解和处理信息。
SOUL为大数据时代打造了安全可靠、高效灵活的数据计算解决方案,以智能化、可拓展的开放式系统设计,辅助用户实现从传统IT应用向云计算、大数据应用的平滑迁移,从而更加快速开展大数据资产的分析、挖掘、管理,并从中获取商业机会与竞争优势。