相关阅读:华为OceanStor N9000存储系统技术漫谈(一)
大数据时代,数据成爆炸式增长,数据总量ZB级,对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor N9000存储系统(以下简称N9000系统)采用Scale-Out架构,通过服务器的集群方式构建,可自由横向扩展,提供统一命名空间,这个统一的命名空间可以提供高达170GBps的总带宽,超过300万的OPS,以及很低的时延。N9000系统是如何达到这样的卓越性能的呢?
SSD加速
在一个系统中,我们把用来描述数据的数据称为元数据,元数据管理真正的数据。元数据的特征是数据量不大,但访问频繁且离散。我们在并发访问数据的时候,需要先访问元数据,以获得数据的大小,路径等信息再通过这些信息访问数据的内容。传统机械硬盘,顺序访问性能可达100MB级别,但小文件随机访问的性能极低。用传统机械硬盘来存储元数据,元数据往往就成为了整个系统的性能瓶颈。
近几年固态硬盘(SSD)技术突飞猛进,SSD存储小文件随机访问的性能有目共睹。就存储介质而言,SSD以其高性能引领着存储行业的变革方向。但它同时也面临着高成本和低容量的尴尬困境,而这恰恰是传统硬盘的长项。就目前SSD的发展程度,在大数据时代,面对大容量和低成本的要求,所有场景全部采用SSD的方案是不现实的。
N9000系统基于分布式架构,数据和元数据分开管理,系统智能控制元数据的分布位置。同时,N9000系统的高性能节点配置SSD。这样,N9000系统把元数据存放在SSD上,数据放在机械硬盘上,既能提升整系统性能,又能提供大容量空间,还能保持低TCO。
N9000系统不仅仅可以把元数据放在SSD上,加速元数据访问速度,还能自动识别小文件,和热门数据,并自动把部分小文件和热数据放在SSD上。当SSD空间满的时候,N9000通过自动的冷热文件识别,把一部分近期被访问可能性较低的文件转移到SATA或SAS盘上。这样的设计可以让资源得到充分的利用。
SSD的空间容量毕竟有限,只能放置部分元数据和数据,绝大部分数据都放在传统的,读写性能比SSD低很多的机械硬盘上。如果要保证整系统的高性能,仅仅依靠SSD加速还不够。缓存,一直以来,也是用来提升性能的一大法宝。
全局缓存
在一个系统中,数据通常情况下读要比写的频率高,提升数据的读性能,能显著提升整系统性能。数据从缓存中读出,比从硬盘读出快很多倍。传统的做法是尽可能加大节点的缓存,但单节点的缓存总是有上限的。而且传统集群服务器的缓存往往是各自为政,同一块数据有可能被多个节点的缓存分别进行缓存处理,随着节点的增加,缓存命中率不会得到提高,磁盘的读性能得不到改善,数据的一致性保证机制也会非常复杂,进而消耗过多的系统资源。
N9000系统作为一个分布式,share nothing架构的系统,每个节点都对外提供服务。N9000系统采用全局缓存模式,把所有单节点的缓存联合起来,整合成一个大缓存池,从任一节点访问,读写均可以在全局缓存池中作统一的命中处理。N9000最高可以拥有超过4TB的超大缓存,大大提高缓存命中率,减少读盘次数,降低访问时延,提升系统并发度、进而提升整系统性能。
把所有单节点的缓存整合成一个统一的全局缓存池,需要通过系统的内部网络来完成数据的交换,如果内部网络性能差,时延大,必然影响整体的系统性能。
高速的网络互联
随着网络技术的不断发展,万兆以太网出现,让用户既拥有高速网络,又拥有以太网的简单管理。N9000系统支持高速10GE以太网,每个节点可以支持4个10GE端口和4个1GE端口, N9000在低时延、高带宽、高并发的场景下都可以获得卓越的表现。
随着近几年Infiniband技术趋于成熟,多并发链接,高达40Gbps的带宽,时延低。在一些对性能要求苛刻的场景,Infiniband能够带来更高的性能。但Infiniband目前成本还比较高,这是CIO们需要抉择的地方。
N9000系统同时支持高速10GE以太网和InfiniBand网络,适配用户不同的组网需求。通过节点间高速互联,尽可能降低系统内部时延,从而对外提供卓越性能。
并行访问
传统的NAS系统一般采用单NAS引擎Scale-up的方式扩展容量,所有的并发访问都需要经过NAS引擎,传统的NAS系统,NAS引擎往往成为系统的性能瓶颈。
N9000使用多台相对廉价的x86服务器组成一个Scale-out的集群,通过负载均衡,每个访问均匀地被发往各个服务器,这大大提高了N9000并发访问的能力,其处理能力随着集群规模的增大而线性增长,避免了性能与容量不匹配的尴尬。这也使得N9000可以使用较低配置的硬件达到传统高端NAS的性能指标。
华为OceanStor N9000存储系统还通过细粒度锁,负载均衡,分级存储等,为用户提供卓越性能。技术永无止境,追求永无止境。华为OceanStor N9000存储系统在技术上不断创新,为客户提供业界领先的性能,满足媒资,高性能计算等场景的需求。