数据为什么要分层存储?这个问题核心来自存储底层的数据盘,单一盘做不到存储容量足够大,存储性能足够高,且成本足够低。要么容量成本(GB/$)可以接受,但是性能不够高,如大容量磁盘;要么性能可以接受,但是GB/$有些高,用于存储海量数据,用户负担成本难以承受,如SSD。数据分层存储,博采众长,这是目前应对海量数据唯一的可行性办法。但是数据分层谈何容易?
数据分层,无处不在
数据分层其实并不仅限于磁盘、闪存盘,在整个IT架构中,数据分层随处可见,冯诺依曼架构中,就有内存储、外存储的划分。其中,内存储可以理解为内存,外存储就是我们所说的存储,也被称为外部数据存储。
在CPU内部也有数据分层,片上缓存分为1、2、3层;在SSD、网卡内部,都配有数据缓存层……,数据分层随处可见;但是要想真正做到各司其职,各司其用,困难重重,特别对于海量数据存储而言,不仅容量更大,而且变数更多。
类似于电商“双11“促销,突如其来的爆发式的访问,本质上是没有办法控制的,经验多了可以预期,但难以准确预计到。数据也是一样,数据的冷热变化,本质上也是没有办法准确判断的,这就是分层存储的难题。
弹性是关键
做好分层存储需要具备两个条件,一是缓存足够大,二是调配需要足够灵活,简单说,就是弹性十足,这恰恰与云服务商的特点不谋而合。
也许是意识到了这一点,亚马逊云科技开始在这方面发力。7月6日,亚马逊云科技宣布了智能分层、专门构建以及统一数据保护,三大加速云端存储服务创新的措施。
● 新推出Amazon S3 Glacier Instant Retrieval,使Amazon S3存储层级多达8级。
Amazon S3 Glacier Instant Retrieval即时检索归档存储,旨在为归档数据如音频视频、手机相册、日志归档、影像资料等提供毫秒级的访问能力。如果客户能够将Amazon S3 Standard-IA上的每年仅访问几次的数据迁移到Amazon S3 Glacier Instant Retrieval ,就可节省近70%存储成本。
●首次将智能分层服务从对象存储扩展至云原生文件存储Amazon EFS(Amazon Elastic File System)。
Amazon EFS提供了四种存储等级分层,可帮助客户节省高达72%的存储成本。EFS可以对接Amazon S3 Glacier Instant Retrieval。
对接、工具是基础
在过去一年间,亚马逊云科技不断丰富“专门构建”的Amazon FSx文件存储系列服务,在Amazon FSx for Windows File Server基础上,新推出新一代Amazon FSx for Lustre、基于开源OpenZFS 文件系统构建的Amazon FSx for OpenZFS以及云上首个完整且全面托管NetApp ONTAP文件存储系统的Amazon FSx for NetApp ONTAP。
其中,ONTAP是NetApp 提供的数据文件管理系统,在业内拥有强大的用户基础。
联想凌拓产品管理与营销高级总监林佑声表示:“NetApp ONTAP致力于帮助客户应对数据管理的挑战,越来越多的企业开始使用敏捷、弹性的公有云服务,将工作负载迁移上云。通过亚马逊云科技全面托管的Amazon FSX for NetApp ONTAP,能够将ONTAP文件存储和数据管理能力带给更多客户,让客户能够轻松地将ONTAP的强大功能部署于几乎所有应用程序。”
联想凌拓与亚马逊云科技的合作,可谓是互有所求,用户应该也是乐见其成。
此外需要注意的是:Amazon Backup统一数据保护的服务。在过去一年,亚马逊云科技将其扩展至Amazon S3、VMware工作负载,如今还涵盖Amazon EC2、Amazon EBS、Amazon RDS、Amazon Aurora、Amazon DynamoDB、Amazon Document DB、Amazon Neptune、Amazon FSx、Amazon EFS和Amazon Storage Gateway。
客户还可以使用Amazon Backup Audit Manager生成审计报告,并使用Amazon Backup中内置的细粒度访问控制,以及Amazon Backup Vault Lock保持备份不变,防止意外或恶意删除。
智能分层、专门构建和统一数据保护被称为是亚马逊云科技抛出的3大杀手锏,应该说,杀伤力还是非常足的,关键在于选点准确,技术含量十足。也受到了Nagarro等市场用户的首肯和认同。
Nagarro中国区首席架构师郭亮表示:“该平台服务于5,000多家企业级用户,管理着近兆亿级的各种类型图片、视频、PDF、office 文档和PSD等数据。面对如此巨量的存储,我们需要实现成本和敏捷的自动平衡。通过借助Amazon S3及其智能分层功能,确保了数据的持久性和可靠性;无需关心数据如何分层存储,不但可以让业务人员专注于应用,同时还节省了70%的存储费用。“
小结
专业的事情,最好交给专业的人做。
“智能“的我只需关注数据的使用,而将数据存储分层这样专业的事情交给亚马逊云科技,这应该是明智的选择,对吗?