“把一个大象装进冰箱需要几个步骤?答案是需要3个步骤:把冰箱门打开,把大象放进去。再把冰箱门关上!把一个长颈鹿装进冰箱要4个步骤:把冰箱门打开,把大象弄出来,把长颈鹿放进去,冰箱门关上!森林办动物大会,长颈鹿为什么没来?因为它还在冰箱里面呢!”这是春节联欢晚会的笑话,但在现实生活当中,我们还真需要这样的一个大数据的“冰箱”,但是答案可就没有这么简单了。
全球都在面临着爆炸式数据增长所带来的前所未有挑战。据国际数据公司(IDC)发布的报告显示,2017年大数据市场规模将达324亿美元,全球大数据技术及服务市场年复合增长率为27%,其中市场增长最快的领域是数据存储领域(53.4%)。据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘。
根据统计,全球硬盘出货量每年不到5亿块,这也就意味着,即使现有生产线全力以赴的生产,数据磁盘的存储量仍然没有办法满足爆炸式数据增长的需求。如果我们把爆炸式数据增长比喻为“大象”,那么我们的存储,就是人们日常生活中的“冰箱”,现在要做的就是要把“大象”放到“冰箱”里。如今,信息科技特别是大数据应用技术的不断发展,数据呈现出大、多样、实时和有价值,而与之紧密相关的数据存储尤为重要,各行业对海量大数据存储,也就是对“冰箱”的需求日益迫切。
对此,我们能够做得到吗?
还是需要科学手段才能够解决问题。
让我们研究一下海量数据,从结构上可以分为结构化数据和非结构化数据,对应的存储手段分为块存储、文件存储,以及新出现的对象存储。其中,造成海量数据增长的主要是非结构化数据,所以真正面临考验的将是文件和对象存储。
文件存储,指的是在文件系统上的存储,也就是主机操作系统中的文件系统。对象存储是面向对象/文件的、海量的存储。对象尽管是文件,但是它是已被封装的文件,也就是说在对象存储系统里,你不能直接打开、修改文件,但可以像ftp一样上传文件,下载文件。
文件系统有一个很多层级的文件结构,而对象存储只有一个“桶”的概念(也就是存储空间),“桶”里面全部都是对象,是一种扁平化的存储方式。对象存储最主流的使用场景是存储网站、移动app等互联网/移动互联网应用的静态内容(视频、图片、文件、软件安装包等等)。对任何基于互联网的应用程序而言,包括web网站、视频应用、SaaS应用、网盘、移动APP等,对象存储作为数据存储的理想选择。对于备份、大数据存储、归档等近线、离线存储场景,对象存储也是节省投资的好的存储方式。
2014年IDC发布了占领国际市场份额的前五大对象存储厂商。
这张图还说明IDC认为对象存储是一个足够成熟、值得追踪的市场。
那么,对象存储是不是我们需要的用于装“大象”的“冰箱”呢?当然不是,“对象存储”只是一个技术,实际上,国际先进、安全可控的数据存储核心技术体系,引领中国大数据产业的创新发展,这才是“冰箱”的全貌和价值。
这是谁说的?
提前透露一下,2天之后,9月8日,在南京,在中国大数据存储产业最具震撼力和影响力的一家国有控股合资公司公司即将成立,作为“中国大数据产业战略合伙人”,它将会帮助你揭晓大数据“冰箱”的全貌……
识别二维码可抢先观看紫光西部数据成立典礼现场直播。