大数据分析市场的发展“观”
网络中可供分析的数据有两类,一部分是用户自身上传的数据,涉及用户隐私。另一部分是机器自身产生的数据,包括网络流量、系统运行参数、配置文件、设备日志、操作系统日志、数据库审计日志、应用日志等,它无处不在,具备跨平台、流动性、移动迅速、数量极大且变化快等特性,对整个IT系统的维护起到了关键作用。
如果能提前识别整体网络流量的异常,分析预测流量变化,及时封堵相应的流量端口,就可以及早避免病毒侵袭,因此,如何提升网络智能成为业界亟待解决的问题。
以此为契机,新华三输出数据分析决策系统
新华三机器数据分析决策系统通过对机器设备产生的流量、日志、配置文件等机器数据进行分析,实现对网络服务质量的评估、应用的智能化保障。通过对流量趋势的分析实现全网流量的智能调度和对机器设备的可预测性维护。
只要开放日志,机器数据分析决策系统可以适配主流厂商的大部分硬件环境,包括小型机、服务器、中间件等,甚至可以适配大量的安全设备。通过最初对公安、教育、政府等行业的经验积累,新华三机器数据分析系统如今已经在2018年5月正式发布。
我们知道,企业如果只是一味保存日志,空间内存总会处于不够用的状态,磁盘利用率下滑,再加上若坐拥PB级容量的日志数据,在需要时根本无法进行查询和检索,如同鸡肋,存也不是,扔也不是。
因此,首要解决的问题是利用大数据设备进行日志存储。然后通过系统进行快速检索、关联和分析。机器数据分析决策系统是基于持续历史运维大数据的训练与学习,既能让用户通过机器数据来判定从前IT设备中出现的扯不清到底谁该“背锅”的存储、应用、中间件或是前端网络设备问题,又能对未来新业务部署进行推演,准确提供新业务叠加后的业务状态,作出提前预警。
例如系统帮助公安部门在其上千个应用中查询出从未有人访问,更无人维护的僵尸应用,防止黑客利用这些僵尸应用作为跳板对IT系统发起突然攻击。
我们还可以发现一些机器数据分析决策系统很好玩的应用,比如在抖音,今日头条上,你可以通过系统了解用户在页面的停留时间,你喜欢点击的这些页面,实际上就形成了整体的用户画像,未来在抖音或头条不断向你推送视频或新闻时,会根据你的选择去推送你想看的。因为是为你量身定制,所以才会有如今的“抖音中毒”。
开启数据安全视角:大浪淘金or沿途卖水?
大数据分析的商业模式一般是拿所有的数据进行分析预测或是通过不触及用户隐私的机器数据进行数据分析,前者就像是淘金,后者则可视为沿途卖水。
新华三机器数据分析决策系统属于后者。新华三大数据产品部部长,曹言指出,别的厂商可能是到旧金山去淘金,而我们可能是在旁边卖水的。新华三的商业模式决定了我们不会去触碰太多相关隐私的数据。
系统分析的日志数据包含结构化和非结构化数据,比如机器日志一般称为之半结构化数据的文本形态。新华三专门针对这些机器数据有一个网络数据分析处理设备,经网络数据分析处理设备处理后能够输出一些标准格式(如源IP、目的IP、端口等)的数据,压缩过后成为结构化数据再进行分析处理。
在大型企业中,决策系统能够对用户行为进行分析,规模越大,日志量越多,我们越需要决策辅助和分析,这是毋庸置疑的。同时,决策系统也适用于中小企业,它能对高速发展的中小企业进行流量分析,用户上网行为分析包括关联分析,还能预测扩容时间,让企业及时做准备。
新华三大数据产品部副部长鞠达勇表示,我们在系统还内置了一些通过实践的模型算法,如果企业的数据量不多,可以先使用这些既有的模型算法,再利用企业现有的数据和历史数据通过机器学习不断修正模型算法,来使得分析更为准确。
不过,新华三的这套分析系统主要还是专注2B业务,它是在现阶段非常重要的产品,也是提升自身与其他硬件设备厂商之间差异化服务的产品。
因此,是时候给拥堵的网络“交通”加一下buff了。