自从Spectrum Storage六色光谱存储之后,IBM又把计算能力也做成了光谱,推出Spectrum Computing,为认知计算服务。
认知计算需要大量各种各样的数据,包括各种分析型应用,传统的基于交易型的应用设计的架构,需要面对各种静态数据、动态数据、内部、外部的数据,当中大部分组成是非结构化数据,在数据存储、管理和访问方面带来许多问题。应用方面,云类型应用需要大规模水平扩展架构,有了新数据存储使用方式,在存储、访问和分析这些数据的时候强调弹性扩展。
Spectrum Computing是什么?
Spectrum Computing,有LSF(Load Sharing Facility)和Symphony。
其中,LSF是著名的工作负载管理平台,负责作业调度,主要应用在分布式的HPC环境下,可以在Unix、Windows等多种环境下完成批任务处理,在制造业、电子行业、生命科学领域用的比较多,同样在企业里面也有大量应用。
LSF是高性能计算领域非常有影响力的平台产品,Platform Computing是少数被国际巨头看上的华人创业公司的平台产品,它成立于92年,2012年被IBM收购,其创始人周松年是一个加拿大籍华人,曾因为LSF获Ontario信息技术研究中心颁发的“产品开发革新奖”。
另外一个是Symphony,这也是一个工作负载和资源管理器,应用于计算和数据密集环境下的数据分析场景,主要是针对大数据、高性能分析的工作负载,每秒能为超过1000多台计算引擎分配不同任务,每秒能分配17K项任务,在国内外有许多金融、电信领域的用户。
新的Spectrum Computing在Spectrum LSF和Spectrum Symphony的基础上加上了Spectrum Conductor,主要支持云类型的应用。支持对云应用,比如Spark,内存计算,NoSQL数据库等工作负载进行管理,与前两者不同的是可扩展性好,整合了软件定义计算和软件定义存储,可整合内部的数据和外部的云数据。
三个产品针对三种不同类型的分布式应用,但是底层是共用平台。如果一个企业同时有这三种不同类型的分布式应用,就可以便捷地同时运行这三种类型不同的工作负载,从而加快应用效率、节约资源、简化管理。
Spectrum Storage之后又推出Spectrum Computing
我们知道去年年初IBM整合存储产品线,推出纯软件版本的Spectrum Storage(光谱存储),把经典的XIV,GPFS等产品重新整合,以软件定义的概念整体推给客户,此后IBM的存储产品线变得非常清晰,各个产品非常鲜明,方便快速认识区别和了解。
时隔一年多时间,Spectrum Computing推出,一方面也方便人们了解这三个定位相似,却又有很大区别的产品,帮助人们理清了各产品特点,因为是软件定义,所以能节省成本,所以所有产品都是硬件无关的,所以能随着IT规模的扩张灵活管理,这是跟IBM整体战略相符合的。
Spectrum Computing的三个产品两个原有的产品通过接口的方式和光谱存储联系在一起,新的Spectrum Conductor则与存储融合在了一起。Conductor内嵌了GPFS-FPO,通过内置磁盘构建一个分布式的文件系统,GPFS-FPO上层数据管理也是基于Spectrum Scale实现的,包含软件定义存储的组件,通过Spectrum产品以及第三方接口的与云结合在一起。
产品互相之间可以结合,也可以分开,结合在一起会有很多的优化功能。比如Spectrum LSF里有数据感知型的调度,调度应用的时候考虑数据的地理位置,把应用调度到离数据最近的位置,或者在调度过程中假把数据调度到离应用最近的地方,从而提升执行效率。
Spectrum Computing老而弥坚
Spectrum Computing其实还是数据中心规模大了之后,对工作负载调度需求的提升。回顾发展历史,当Hadoop推出1.0的时候还没有工作负载管理的概念,2.0的时候推出的时候有了YARN,随着云应用的发展,又出现了新的技术叫Mesos,做的是在一个云或者一个集群里面同时运行几种不同的工作负载。
Spectrum Computing由来已久,目的就是在一个集群上跑多个不同的分布式应用。一些报告显示,历史悠久的Spectrum Computing与另两者相比在性能提升调度效率上都有优势,而且不断与时俱进。
IBM软件定义解决方案大中华区销售经理 周立旸
从技术上来讲,正如IBM软件定义解决方案大中华区销售经理周立旸所说的那样,这是软件定义计算和软件定义存储的融合。从行业的角度来看,不得不说,许多时候,IBM都走在了别人前面,2012年IBM完成了这次收购,现在国内也有一些初创公司在做数据中心云操作系统,验证了这类需求,毫无疑问,这得益于云计算大数据的发展,我们相信IBM在市场中自然会发挥自己的优势。