Amazon启动胖存储实例用于大数据处理

ZDnet 发表于:12年12月26日 15:16 [转载] 至顶网

  • 分享:
[导读]今年11月的re:Invent用户大会上Amazon Web Services(AWS)曾经承诺交付的大数据存储实例现在已经开始提供,我们了解到了更多的一些细节——比如价格是多么的昂贵……

今年11月的re:Invent用户大会上Amazon Web Services(AWS)曾经承诺交付的大数据存储实例现在已经开始提供,我们了解到了更多的一些细节——比如价格是多么的昂贵……

Amazon还启动了Data Pipeline服务,这是一款基于工作流的工具,用于在不同的AWS服务之间迁移数据,以及数据在第三方数据库和数据存储的输入和输出。

这次提供的High Storage Eight Extra Large实例(简称为hs1.8xlarge by AWS),拥有117GB虚拟内存,24个2TB硬盘,总存储容量48TB。而且有16个虚拟核心,总共35个EC2 Compute Units (EC2s)处理能力,大约是8XL EC2实例的一半还不到。AWS在一篇博客中表示,这些物理服务器中的逻辑驱动器通过定制的Xen管理程序交付2.4GB/s的IO性能,为AWS云上的所有EC2实例提供支持。

Amazon建议,使用这些Haigh Storage实例的客户要开启RAID 1镜像或者RAID 5/6数据条带化及奇偶校验保护,以确保数据的安全性,并进一步表示,像Gluster(如果你使用的商用版本,也就是Red Hat Storage Server)这样的集群文件系统,或者像Hadoop Distributed File System (HDFS)这样的分布式存储系统以保证容错。而且,正如你所期望的,Amazon还希望客户将保存在这些存储密集型计算节点中的数据备份到它的S3对象存储中。

Amazon表示,High Storage实例主要针对Hadoop数据处理、数据仓库、日志处理以及地震分析工作负载这样在在节点上有大量落存储以及高顺序I/O很重要的场景。

目前High Storage实例仅面向Amazon在弗吉尼亚州北部的美国东部地区,全球其他地区将在未来几个月内获得这种胖存储节点。

当然,它价格不菲,运行Linux的按需实例每小时4.6美元,运行Windows的是每小时4.931美元。一个运行Linux上的普通8XL实例 (也就是Cluster Compute实例)价格是每小时2.4美元,运行Windows的是2.97美元。这些8XL实例的计算能力大约是两倍,但不是任何逻辑存储。美国东部地区的定价是基于EC2的,其他地区则有不同的定价。‘

High Storage实例正在被用于Amazon自己的Redshift数据仓库服务中,同时也是Elastic MapReduce Hadoop服务的选项之一。

此外,Amazon还启动了它的Data Pipeline服务供客户使用。该服务提供了这样一个工作流,可以自动迁移来自Amazon S3、Relational Data Service数据库、DynamoDB NoSQL数据存储库以及Elastic MapReduce Hadoopery的数据,或者信息从应用迁移到这些数据库中,或者跨这些不同的服务,因为数据是面向不同应用进行处理和分类的。

Data Pipeline想EC2实例那样有一个免费使用层,目前只面向美国东部地区,就像上面的胖存储服务一样。你可以免费地运行5个“低频率”的活动,意味在规划中这些活动每天运行不多于一次。高频率层不是免费的,也就是每天数据迁移超过一次。

你必须使用Amazon的图形工作来构建在不同服务之间迁移数据的管道,低频率数据迁移的费用是每个月60美分,高频率数据迁移的费用是每个月1美元。此外,你还必须为你创建但没有使用的每个非活动管道支付每月1美元的费用,如果你希望迁移出这些数据或者从外部数据来源迁移进的话,那么低频率数据迁移的费用是每个月1.5美元,如果每天频率超过一次的话费用是每个月2.5美元。

Data Pipeline服务的费用并不包含带宽或者AWS核心基础架构服务相关的存储费用。

[责任编辑:黄辉]
大黄
以备份起家的CommVault近两年的解决方案不断向更全面的数据保护转型,并对数据管理、数据挖掘也有了一些关注。CommVault中国区技术总监蔡报永接受采访时表示CommVault将继续做一家专注做数据管理和信息管理的软件厂商。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.