一提起Splunk,很多人会翘起大拇指说,这是第一家上市的大数据公司,Splunk研发投入很大,技术实力很强大,Splunk最大的创新点在于没有创建数据模型,相比模型化的做法会更灵活,在市场竞争上,有人认为Splunk最大的优势是能进行真正的实时数据处理。
2003年成立至今,Splunk主要工作就是在处理数据,如果要给Splunk贴标签的话,肯定会有“大数据”这一项,而今做大数据的Splunk也开始说人工智能和机器学习了,如今,人人都在说人工智能,Splunk的人工智能、机器学习有什么不同呢?
众所周知,人工智能离不开数据,Splunk是做数据处理的,Splunk正在帮助企业将数据转化为答案,在Splunk的系统中集成机器学习,让用户能用上机器学习,这是Splunk如今说人工智能的原因。
在2017年年末,Splunk在北京回顾了Splunk过去一年的大事件,也介绍了2018年发展重点方向,其中,重点谈到了机器学习、人工智能方向的内容。
Splunk发布机器学习的功能
Splunk发布机器学习的功能涉及Splunk Enterprise 7.0,Splunk ITSI 3.0和Splunk机器学习工具包三个部分:
Splunk Enterprise 7.0,Splunk Enterprise是Splunk的核心软件, 每年都会有大的更新和发布,主要是做模型管理的,便于用户创建、部署和分享模型,新版本更新后,监测和报警速度提高了至少20倍。
Splunk ITSI(IT Service Intelligence,IT服务智能),这是一套监控和分析解决方案,将IT服务健康状态和关键性能指标以可视化的方式呈现。更新后的Splunk ITSI 3.0把服务环境与机器学习相结合,改变了事件检测服务,用机器学习技术发现潜在问题,优先解决关键业务服务的问题,简而言之ITSI更智能了。
机器学习工具包,这是一款供任何人免费随意使用的数据科学应用,新更新的内容包括机器学习模型管理,机器学习API和数据模块方面的内容。
在安全服务方面,也强化了智能的能力。
原有的安全中最大的问题是智能被动防御,只能处理曾出现过的安全问题,这一方式操作复杂,效率很低,处理方式落后。
Splunk最新发布的安全解决方案包括多个方面,在Splank UBA用户行为分析方面,UBA 4.0增加了用户自定义安全相关机器学习模型的功能,能用机器学习和人工智能的综合力量来加速威胁搜索和异常分析,还能把内部用户的异常行为自动与威胁库数据相关联。
在Splunk Enterprise Security方面也有很多优化,更新后的Splunk可检测具体的威胁,帮助安全部门调查取证,还能帮助管理决策过程,让用户能更好滴应对安全问题。
此外,Splunk还发布了针对欺诈检测的Splunk Security Essentials for Fraud Detection,针对勒索软件的Splunk Insights for Ransomware(恶意软件识别)和监控AWS运行状态的Splunk Insights for AWS。
在这次沟通会上,Splunk还介绍了迪拜机场的案例,展示了Splunk的机器数据产品技术方案为迪拜机场带来的价值。
2018年的四大重点领域
Splunk介绍了在即将到来的2018年的四个行业发展趋势,也就是Splunk要重点关注的四大领域,包括AI/ML,物联网,IT运维和安全。
Splunk中国区总经理严立忠认为,人工智能和机器学习将成为行业专属,人工智能在更多行业落地,与具体的行业有关,在金融服务,医疗,制造,零售业的应用会越来越多。在人工智能的推动下,为很多行业带来了深刻的洞见以及充满希望的前景。
Alex、Cortana和Siri这类机器人让普通消费者感受到了人工智能的魅力,在企业内部有哪些应用场景会用到人工智能和机器学习呢?企业环境下,Splunk总结了两大场景:异常检测和自动化。其核心就是帮助企业做一些做不到的事情,比如在茫茫多的数据中找出潜在的危害IT关键基础设施的原因,找出一个有恶意的用户等,可用来维护企业用户的利益。
物联网产生了大量数据也带来了很大的风险。在云计算和数字化转型发展趋势的推动下,物联网最先在公共部门,制造业,运输业落地应用,带来的很多额外问题,机器学习和人工智能将成为应对这些新问题的有效手段,也将成为为物联网未来发展的动力。
IT运维是企业绕不开的话题,人工智能和机器学习与IT运维相结合的可能,Gartner也发现了这一趋势,并此创造了“面向IT运营的人工中能(AIOps)”这一术语。DevOps对业务的作用非常重要,严立忠认为,只有掌控好DevOps计划的高管才能脱颖而出。
黑客正在寻找更大的攻击切入口,随着企业IT系统的复杂度IT边界的扩大,安全问题只会越来越严重,自动化技术的发展,相关人员的技能差距会越来越小,对相关人员的要求也会发生变化。
Splunk认为DevSecOp将会是下一个前沿领域,为满足不断提高的管理、审计和合规要求,需要IT开发人员做更多工作,在应用和平台中添加更多的检测功能,为保证安全还需要安全部门与开发和运营部门协作,还需要运维部门来参与,以此来提升安全管理水平,在这一趋势下,未来会产生新的IT运营人员。