传统企业一般会部署OLTP(On-Line Transaction Processing)联机事务处理数据库系统用于支持日常流水事务处理,部署OLAP(On-Line Analytical Processing)联机分析处理数据仓库系统用于支持复杂分析类业务,数据库中的数据经过提取清洗等处理导入数据仓库中。伴随着企业的数字化转型,数据量增长越来越快,在线交易、商业决策、报表、日志、离线分析等需要数据支持的业务也越来越多,这导致数据库和数据仓库系统越来越复杂,甚至是失控。
前几年,HTAP(Hybrid Transactional/Analytical Processing)数据库兴起,并且Gartner公司给出了HTAP的严格定义,HTAP能够同时支持OLTP和OLAP两类应用,可以将企业复杂的数据系统简化整合,并且性能和可用性相比传统技术大幅提高,可以帮助企业解决数据挑战难题。
inData数据库一体机是软硬一体化的HTAP数据库方案,采用了浪潮K-DB数据库一体机版软件和标准的X86服务器、Flash存储以及InfiniBand等领先的开放技术,该产品为一站交付式设计,可以开箱即用,并且界面化操作,十分易用,能够为企业提供一个统一的数据心脏。
多层次、全链路的可用性设计
inData是一个全冗余的融合系统,分为软硬件紧耦合的计算、存储和网络三个资源池,软件方面依靠K-DB数据库一体机的K-RAC共享存储多活集群、KAS(K-DB Active Storage)存储虚拟化技术,提供了计算节点的高可用、存储节点的数据多副本镜像、条带化和数据再平衡等功能,存储服务器构成存储池,所有的计算、存储设备通过2台或者以上InfiniBand交换机连接。
inData的KAS存储虚拟化功能模块是独立运行的数据库实例,该模块将数据库计算节点和存储节点解耦,并将存储设备虚拟化为统一的资源池,实现存储数据条带化、多副本、再分布等,一方面可以充分且均衡地利用存储节点的资源,同时避免存储热块的产生,最大化发挥存储I/O性能,另一方面,隔离硬件故障对系统的影响,inData支持双副本或者三副本数据冗余,数据与副本数据分散存储于每台设备中,任何存储出现问题以后,系统会自动从其他存储设备读取数据,并不会引起服务的中断。inData 还具有多节点恢复技术,当故障节点重新加入集群后,inData的其他节点会同时向该节点进行回复操作,大幅缩短系统恢复的时间。
端到端高效I/O链路,微秒级延迟
Share-nothing架构保证了inData强大的扩展性,也保证了inData的强大性能,inData一体机可以实现百万级IOPS、海量吞吐与微秒延迟。
SAN存储造成的I/O问题是制约传统数据库性能的瓶颈,inData打破了这一瓶颈。硬件层面的InfiniBand网络、RDMA协议、flash存储,软件层面的KAS,以及系统层面的存储索引、智能过滤等技术让inData实现了系统内高效I/O交互。
inData采用的InfiniBand网络带宽高达56Gb/s,带宽高、延迟小,辅以RDMA(远程直接内存访问)网络协议,实现了内部数据的高效传输。机械硬盘的I/O吞吐一直难以与飞速发展的网络相匹配,inData的节点都配置了flash存储,并配置了智能缓存软件模块。系统会自动统计数据的访问频次,将热点数据存储在flash中,使用频次较低的数据存储在机械硬盘中,最大程度缓解了磁盘的I/O瓶颈,配合InfiniBand网络形成了端到端的高效数据链路。
而且inData还配置了存储索引技术,系统会将列数据的概要信息(如Min/Max值)实施更新存储到存储节点的内存中,系统在进行磁盘数据读取时可以通过这些概要信息预先定位数据存储区间,来减少不必要的磁盘I/O,简化整个读取过程,也大幅度降低了系统I/O延时。
性能,每秒百万事务处理
高速低延迟I/O链路inData保证了事务处理的低延时,强大的扩展性以及系统化的优化技术,则保证了inData的出色处理能力,inData的各个硬件设备之间是对等关系,计算节点(N>=2)和存储节点(M>=3)均可按需进行灵活扩容和自由搭配,性能与容量成近线性增长。
浪潮为inData开发了智能过滤功能。inData在处理需要全表扫描的复杂请求时,计算节点接收到的大SQL语句会拆分为多个小SQL语句,然后卸载到各存储节点进行处理,存储节点处理完毕后将结果集返回计算节点进行整合,然后响应给用户,这样可以更为有效的利用存储节点的计算资源,提高系统性能。
inData还具有FlashCache、DATAMap、列压缩以及I/O分级调度等多种功能模块,改善了数据读写、多库I/O管理、数据存储等多个方面性能和可用性。其中,在I/O分级调度功能的支持下,inData可以设置并运行多个数据库,指定各数据库 I/O 资源使用的先后顺序和使用率。各数据库在同一架构下运行,系统依据各业务的重要性,调节对其的应答速度,这样, 数据平台遭遇极限高并发时,可以优先保证核心系统运行,避免更大损失。
开箱即用 一站式部署
inData在工厂就完成了软硬件的安装调试,而且该方案配有”一键式”统一安装部署功能,通过页面化的操作就可以完成系统的配置部署,不需要对服务器、存储、网络等设备进行复杂的单独部署以及系统调优,整体系统安装配置时间缩短80%以上。而且,浪潮还提供全程的技术服务,包括系统评估、诊断、迁移、实施、上线以及后期的技术培训,保证客户使用能够用好新的技术平台。
inData是一款产品化的方案,用户在采购时可以按照应用需求,选配NVME SSD闪存卡、企业级SSD磁盘、大容量磁盘等不同方案,对于偏重于OLAP应用的用户,浪潮可以提供基于万兆以太网的方案,让用户更好的平衡性能与成本。
目前,已经有多个企业和政府客户部署了inData一体机,浪潮解决方案部总经理乔鑫表示,很多用户部署的传统数据库系统,其扩展性已经快到技术极限,要进行分拆,但在采用了inData后,性能就可以满足实际需要,不需要进行分拆,避免了数据库系统的复杂化。
浪潮inData完全融合现有的技术生态,已经在金融、制造、医疗和教育等行业企业被广泛应用。 乔鑫最后表示,数据的统一整合是企业数字化的起点,inData是一款理想的统一数据平台方案,希望这款产品能够帮助用户快速洞察商业机遇,加速数字化转型。