2023年8月份,AWS举办了一年一度的Storage Day活动,相关报道比较少,最近发现Forbes发表了相关报道,我自己在学习之余也顺便分享下。
原文链接在文末,原文作者:NAND Research的首席分析师和创始合伙人,Steve McDowell。
当我们聊企业存储的时候,大部分都在谈传统本地存储厂商,即使在多云时代下,我们也关心NetApp和戴尔跟公有云的集成度如何。
然而,我们经常容易忽略, 其实公有云厂商的存储也挺强的。
戴尔是全球最大的本地存储阵列厂商,按照规模来算,AWS事实上是全球最大的,最有影响力的存储服务提供商。
其中,AWS的S3对象存储是事实上的行业标准,几乎所有的对象存储方案都采用了S3协议,除了S3,AWS还构建了一系列的数据存储服务。
一篇博客中提到,2023年,Amzon EBS每天要传输大约13EB的数据,每天要处理100万亿的IOPS,EBS每天都挺忙的。
而Amazon S3存储了超过329万亿个对象,平均每秒要处理一亿次请求,全球请求流量峰值超过950 TB/秒。
在2022年,每周处理的Amazon S3 Glacier数据恢复请求超过20亿次。
数据吓人,成绩瞩目。在8月份的AWS存储日上,AWS存储上又有了一点新动态,但不算多。
Amazon FSx for Lustre新增了文件释放功能
Amazon FSx for Lustre 是托管了 Lustre 并行文件系统的存储服务,利用 Lustre 在可扩展性和性能方面的优势,在高性能存储、AI、金融模型等对于存储性能和吞吐量要求比较高的场景中表现出色。
FSx for Lustre 与 S3 无缝集成,两者间可以双向同步数据。这种集成使Amazon FSx for Lustre用户能够快速访问基于 S3 的数据湖,从而简化数据管理。
在 AWS 存储日上,AWS为 FSx for Lustre 新增了一个叫 “文件释放(File Release)”的功能,允许用户通过释放与 S3 同步的文件所占用的存储空间,来高效管理数据。
通过文件释放功能,用户可以继续向FSx for Lustre文件系统里写入新数据,同时保留通过访问这些数据的能力,这些数据可以从S3里恢复到 FSx for Lustre ,然后被访问。
使用该功能时,用户需要先指定一个要释放文件的目录,同时,还需要设定一个最短时间,超过这个时间没有被访问的文件就需要被释放。
文件释放功能对于数据生命周期管理会有价值,它可以将低频访问的数据更高效地迁移到S3里,利用S3的分层存储功能来降低成本。目前,所有落地了FSx for Lustre的Region的用户都可以使用这一功能。
AWS Backup新增逻辑气隙保险柜,防勒索软件
AWS Backup是一个全托管的备份服务,它面向AWS的多种服务和资源,可以为这些服务和资源创建备份,管理备份,监控备份。
AWS Backup引入了一项新的特性——逻辑气隙(Logical Air-Gapped),主要是为了解决勒索软件或数据泄露问题。
逻辑气隙的保险柜(Vault)里存储着不可变备份的副本,并使用AWS拿着的密钥进行加密保护,以此增强数据安全性,以应对勒索软件。
AWS Backup逻辑气隙有这几个关键点:
1,安全:备份的副本默认会被AWS拿着的密钥锁定和加密,以减少意外或者误删除数据的风险。
2,共享:用户可以用AWS RAM(资源访问管理器)来共享保险柜(Vault)里的数据。这样一来,就可以更快、直接地进行数据恢复,而无需先将备份复制到目标帐户中。
3,效率:共享和直接恢复的特性减少了操作负担,在发生数据丢失事件时,可以最大限度地缩短恢复时间,同时也减少了创建额外副本的成本。
AWS Backup的逻辑气隙提高了数据安全性,简化了共享数据的操作,提供更快的恢复,对于数据保护和数据恢复战略很有帮助。
其实Air-Gap气隙方案在应对勒索软件方面已经有很多实践了,从戴尔的CyberRecovery,到IBM的Cyber Vault ,以及Pure Storage和Commvault都有类似的方案。
AWS DataSync支持与其它公有云同步数据
多云是很多云用户的必然选择,所以,在多个云之间迁移数据就显得越来越重要了。AWS的数据同步服务DataSync就为用户提供了这一能力。
AWS扩展了DataSync的功能,支持用户在更多云平台上进行数据迁移,只要云平台上的是兼容S3标准的,就能与AmazonS3进行大规模数据传输迁移。
AWS 的DataSync原本支持谷歌云存储、Azure文件和Azure Blob存储,现在还支持DigitalOcean Spaces、Wasabi云存储、Backblaze B2云存储、Cloudflare R2存储和Oracle云存储。
AWS DataSync它简化并加速了从其他云向AWS迁移数据的操作,简化了再AWS上做数据归档的操作,也简化了再多个云之间传输数据的操作,这次更新将简轻很多IT管理员的工作负担。
IT组织有许多责任,最重要的一项工作是保护企业数据的完整性。关键业务应用处理数据的速度和灵活性,直接影响着企业的竞争力,所以,数据的存储、管理和保护数据都非常重要。
小结
AWS S3存储经历了多年发展,存储服务类型也在不断丰富,如今提供包括文件存储,块存储和对象存储三大类多种服务,还有了数据保护和灾难恢复功能,基本可以满足企业对于存储方方面面的要求。
此次更新中,Amazon DataSync支持向友商直接开放数据同步服务,这一操作并不多见。
逻辑气隙满足了数据安全的最佳实践,与戴尔和IBM这种主流的存储厂商对齐。
Amazon FSx for Lustre对于高性能计算和AI负载也非常重要,对现在非常火的生成式AI也是有帮助的。
作为规模最大的公有云服务商,AWS本可以让合作伙伴来提供一些高级的存储产品,但AWS主要靠自己亲力亲为。
或许,正是因为这种不断创新的做法,才使其保持领先地位的。在可见的未来,这一做法应该还会继续下去。