大数据最典型,人们最熟悉的应用场景就是精准营销,根据用户既往的行为数据做出分析,然后做出预测,以此辅助企业的营销过程,除此之外,大数据还能做什么?还有哪些应用场景呢?
Splunk是一家特别的大数据分析服务公司,它的数据分析与传统的数据处理的方式有所不同。
Splunk的工作对象主要是机器数据,所谓机器数据是指IT环境中包括操作系统,数据库应用,ERP,移动终端、电脑、服务器、路由器等任何设备上产生的数据,Splunk可基于任何来源,任何类型,任何数量的数据源,进行关联处理,关联分析最后为用户服务。
比如,Splunk可以提供智能化的IT的运维,利用大数据精准定位用户的问题,快速处理问题,用AIOps来解决运维问题;Splunk可以提供成面,成体系的安全服务,通过分析来发现未知的安全威胁;Splunk的业务分析服务可用来改善产品和用户体验,监控用户的使用数据,使用APP的数据,以此来改善他的产品和服务。
在实际应用中,Splunk有很多实践案例可以分享。
纳斯达克用Splunk做内部外部的威胁分析,作为一家金融交易机构,安全是至关重要的。事实上,纳斯达克与许多企业一样,有很多来自于外部内部的安全威胁。比如系统会发现离职员工访问企业账户的异常,结合其他相关数据判定行为是否正常,比如防止人员流动造成的IP知识产权流失,或者及早发现IP知识产权流失的问题。
国内某大型金融机构使用Splunk做运维。一方面,IT架构越来复杂,故障定位也越来越难。交换机报错找交换机,数据读写错误找数据库,交换机的报错可能是数据库造成的,有些东西没法一下找到问题,Splunk平台能对所有数据进行关联分析,能清楚定位报警。一方面,100个报警提示其实可能只有一个真正问题,Splunk关联分析之后能做告警压缩。报警压缩的价值在哪儿?一天几十万条报警要怎么处理呢?有的人外包,有的人认为删掉一部分,面对茫茫多的报警信息,处理起来非常麻烦,想解决的话,只有加派人手了,这是成本。
制造业里的宝马新能源车也在用Splunk,宝马新能源车的设计研发模拟交付用户跟踪都在用Splunk,用前期记录的数据来做流程返工,迅速找出问题的所在,Splunk可以监控所有电动车的使用过程,通过对所有电动车行驶规矩,停留的地点,停留时间的分析判断在哪儿放充电站。宝马会利用收集到的各种信息来分析和改善产品。
Splunk帮特斯拉监控特斯拉汽车从研发到生产,到后续的交付,到用户的使用,信息的采集的全过程,能收集到用户的驾驶习惯、踩刹车的习惯、打方向盘的习惯,能记录开车的频率、习惯的速度,给出一些提醒建议,帮助改善产品,实现快速迭代。
Splunk能分析的数据非常全,然后能对数据做全面的关联,这就是Splunk最大的特点了。
天学网是一家以智能学习产品和平台服务为主的教育服务的公司,每天有几百万付费用户,这些用户非常重视使用体验,这为运营提出了很多挑战,因为用户对于错误基本上是零容忍。
天学网副总裁刘文(左)和Splunk 中国区总经理严立忠(右)
天学网副总裁刘文表示,故障出现后的响应时间只有分钟级,以往小时级的响应是完全不行的。
为了提升保障用户的使用体验,六年前开始,天学网自主开发了一部分监控系统,也有一部分使用了开源的监控系统,所以,天学网本身其实有技术积累的。
尽管如此,但是面对一些具体的问题时也是无从下手,或者说自己投入辛辛苦苦做出来的东西效果达不到预期,或者达到预期后的代价非常高。
大约从三年前开始,天学网开始使用Splunk的方案。天学网副总裁刘文这样说道,我从当前60分水平想要做到80分的话,需要花很大代价,我现在用Splunk的方案能做到90分以上,而代价远比我自己做的要小。Splunk的使用体验让刘文深刻体会到了什么叫术业有专攻。
刘文将与Splunk的合作过程总结为三个需求阶段
据了解,天学网跟Splunk的合作不到三年,当前能做到快速,定位和解决问题,这是第一阶段,在Splunk的帮助下,天学网的技术团队得以能专注于研究教学技术,将智能技术注入其中,下一阶段,天学网想在问题出现之前解决问题。
在天学网的用户中80%以上的场景需要在家里完成,用户产生的数据90%以上是非结构化的。比如用户练习英语口语的时候会产生录音,产生笔记,百万级用户规模下,数据量将非常大,如何发现服务过程中的潜在问题将会带来很高的价值。
如今,天学网已经着手第二层级的需求,刘文表示十分看好其前景,能够很大程度上提高故障反映速度,提升用户体验,这对于复购率和使用数字两方面都非常重要。在满足第二层级需求的过程中,刘文还意识到,引入Splunk的服务引进的不只是一套技术,而且是引进了一套业内的最佳实践经验。
第三个阶段的想要达到的效果是从立体的视角审视发生了什么。审视用户来的时候有没有遇到问题,购买行为怎么样?使用过程中有没有遇到麻烦,可能遇到什么问题。
第三个需求也开始尝试,天学网考虑将Splunk用在全业务流程管理,用来分析底层机器数据,上层应用数据,业务层面的数据等等。
刘文认为,开源的方案是一条路径但是构建和使用成本太高了,效率和质量也很难满足实际需求,这时候确实需要一个很强的工具,他表示,教育行业对于质量和体验的要求与医疗行业的要求特别像,便宜点当然好,但价格不是第一位。
他希望,底层系统的运行指标和上层一些业务指标以某种方式串起来,串起来之后来进行更快的迭代和决策,这件事有很强的探索性。
他相信,在Splunk的帮助下,一方面企业的生产力绝对是得到了提高。另一方面,整体拥有成本远低于自己研发,既节省了金钱也节省了时间。