海量数据到大数据的发展过程是一个从量变到质变的过程。数据发展已有多年,每年都以翻倍的速度在增长。过去增长以往的技术能够对它比较好的管理,但一旦到达一个临界点以后就产生了一个质变,过去的技术已经符合不了当前的发展趋势,需要新的技术来满足新的数量级的需求。于是大数据的概念应运而生。
在Forrester分析师布赖恩·霍普金斯(Brian Hopkins)和鲍里斯·埃韦尔松(Boris Evelson)撰写的《首席信息官,请用大数据扩展数字视野》报告中,他们提出大数据的4项典型特征——海量(Volume)、多样性(Variety)、高速(Velocity)和易变性(Variability)。
海量
企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。
此外,各种意想不到的来源都能产生数据。例如,从巴塞罗那至沙特首府利雅得的单程航行中,一架商用喷气飞机上收集的传感器数据量将超过1PB。当用一次飞行的数据量乘以每天所有飞行的航班数,数据总量将非常惊人。
多样性
一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。
高速
高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。
根据IMS Research研究机构关于数据创建速度的调查,通过跟踪可联网设备的激活量,发现联网设备增长的第二波浪潮正在加速到来。本轮增长后,将涌现更多新型可联网设备增长的浪潮。据预测,到2020年全球将拥有220亿部互联网连接设备。
易变性
大数据具有多层结构,这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据,大数据存在不规则和模糊不清的特性,造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。目前,企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。