众所周知,数据正呈指数级增长(从2010年至2020年预计会增加50倍),而数据必须得到合理使用才能彰显其价值。
现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。
基于英特尔®架构的GigaSpacesInsightEdgePlatform*可以满足企业的上述需求。InsightEdgePlatform是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将InsightEdgePlatform、英特尔®至强®可扩展处理器和英特尔®傲腾™固态盘(SSD)与集成式BigDL*搭配使用,企业可轻松地在实时分析和AI应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。
为了了解基于英特尔®至强®可扩展处理器和英特尔®傲腾™固态盘的InsightEdgePlatform的运行情况(相较于基于上一代处理器和固态盘的InsightEdgePlatform),GigaSpaces进行了内部测试。这项测试比较了基于以下两种配置的InsightEdgePlatform的查询和加载时间:英特尔®至强®可扩展处理器和英特尔®傲腾™固态盘;英特尔®至强®处理器E5-2660v4和英特尔®固态盘DCP3700系列。结果显示,与上一代架构相比,采用新一代英特尔®架构时,该平台具有更快的查询和加载速度。新一代的英特尔®架构还为GigaSpaces用户带来了其他益处。
GigaSpaces InsightEdge Platform
GigaSpacesInsightEdgePlatform所采用的核心技术是GigaSpacesXAP*内存数据网格。该平台将快速数据分析功能、AI、ML、DL和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的ApacheSpark*发行版,并将Spark分析框架与所有的XAP内存数据网格功能集成在一起。
Spark发行版由高度可用的集群层来管理,该层具备自愈、99.999%可用性、无单点故障、本地和区域性冗余等优点。2通过共置Spark作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。
基于英特尔架构的GigaSpaces InsightEdge Platform
基于英特尔®架构的GigaSpacesInsightEdgePlatform在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔®至强®处理器E5v4家族相比,英特尔®至强®可扩展处理器具有更加出众的性能。英特尔®至强®可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入/输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少RAM的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地TCO。
用于存储数据的英特尔®傲腾™固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔®傲腾™固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdgePlatform可立即访问所存储的数据),帮助降低TCO。英特尔®傲腾™固态盘是对GigaSpacesXAPMemoryXtend*(一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在RAM中,冷数据存储在固态盘中,这样便可通过减少所占用的RAM来降低成本。
为了展示基于新一代英特尔®至强®可扩展处理器的GigaSpacesInsightEdgePlatform在本地部署方面的性能表现,GigaSpaces进行了内部测试。GigaSpaces InsightEdgePlatform上对4GB大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔®至强®铂金8168处理器和英特尔®傲腾™固态盘DCP4800X系列;英特尔®至强®处理器E5-2660v4和英特尔®固态盘DCP3700系列。英特尔®至强®铂金8168处理器和英特尔®傲腾™固态盘DCP4800X系列将平台的数据 加载时间缩短了33%,并将平台的查询时间缩短了23%(参见图2和图3)。
图2.比较结果:采用英特尔®至强®处理器E5-2660v4和英特尔®固态盘DCP3700系列的GigaSpacesInsightEdgePlatform*的数据加载时间为36.5秒;采用英特尔®至强®铂金8168处理器和英特尔®傲腾™固态盘DCP4800X系列的GigaSpacesInsightEdgePlatform*的数据加载时间为24.3秒3
为何采用英特尔®至强®可扩展处理器
英特尔®至强®可扩展处理器能够缩短GigaSpacesInsightEdgePlatform的数据加载和查询时间。因为相较于英特尔®至强®处理器E5v4家族,英特尔®至强®可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔®至强®可扩展处理器有六个内存通道,而测试中所用的英特尔®至强®处理器E5v4家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。
它可以支持最多8路,每路最高1.5TB内存容量,8路配置提供总计12TB容量,从而增加了内存支持。另外,英特尔®至强®铂金处理器具备更多线程;配备DDR4-2666内存;其高速外围设备互连*(PCIe*)3.0带宽的通道数也多了8个,达到48个,而在英特尔®至强®处理器E5v4家族中仅有40个。
除了比上一代处理器具有更多的内核和线程外,英特尔®至强®可扩展处理器还采用了全新的微架构,这使得所有CPU具有一致的形状,因而任何CPU都能插入相同的英特尔SocketP型插槽。这意味着系统能够从双路扩展到4路或8路,而无需第三方提供的外部芯片组。
•经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备GPU,也不会影响性能。
•集成式英特尔®QuickAssist技术(英特尔®QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。
•经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。
•存储创新:包括支持英特尔®傲腾™固态盘和英特尔®3DNAND固态盘,提升了数据密集型工作负载的效率和性能。
•英特尔®卷管理设备(英特尔®VMD):支持通过PCIe总线以热插拔方式更换NVMExpress*(NVMe*)固态盘,且无需关闭系统;标准化的LED管理功能则有助于快速识别固态盘的状态。
英特尔®傲腾™固态盘可进一步提升性能
英特尔®傲腾™固态盘兼具内存和存储器的特性,可以充分发挥英特尔®至强®可扩展处理器的潜能。英特尔®傲腾™固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔®傲腾™固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的TCO,因为这些固态盘可以:
•实现高达500,000的IOPS,相当于在队列深度为11的情况下,约2GB/s的速度。4
•保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在30微秒(μs)以下,同时可承受高达2GB/s的随机写入压力。4
•采用英特尔®内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像DRAM一样显示在操作系统和应用中,从而大幅扩展系统内存。
BigDL*和英特尔®数学核心函数库(英特尔®MKL)
GigaSpacesInsightEdgePlatform集成了BigDL和英特尔®数学核心函数库(英特尔®MKL),并在各个Spark任务中充分利用了多线程编程技术。BigDL是一个适用于Spark的分布式深度学习库,它允许用户以Scala*或Python*程序的形式创建深度学习应用,并充分利用可扩展Spark集群的强大功能。英特尔®MKL包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔®处理器的性能。
借助基于英特尔®架构的GigaSpacesInsightEdgePlatform,减少基础设施的无序扩张并降低TCO
洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔®至强®可扩展处理器和英特尔®傲腾™固态盘的InsightEdgePlatform)来减少基础设施并降低TCO,从而实现上述目标。(了解傲腾技术,请走传送门https://www.intel.cn/content/www/cn/zh/analytics/gigaspaces-solution-brief.html)