2018年11月16日，CNUTCon 大会在上海如期召开。在次日举行的日志处理专场上，该专题出品人、日志易产品总监饶琛琳主持召开了专场会。专场会第一场，是日志易技术副总裁黎吾平分享的《日志分析场景下的搜索引擎改进》。此外，美团、沪江、ThoughtWorks 也分别做出了分享。
图为 日志易技术副总裁正在分享自研引擎
CNUTCon 全球运维技术大会是由 InfoQ 主办的运维&容器技术盛会。大会主要面向各行业对运维&容器技术感兴趣的中高端技术人员。CNUTCon 致力于帮助参会者了解国内外相关公司的领域动态及应用案例，使企业可以更精准地确定自己的选型方案，并提前预估相关的风险和收益，实现技术落地。
各大互联网公司的技术专家参与了此次大会。在大会的各个专题下，“日志处理”彰显了其在运维圈中的独特地位。日志处理，即统一日志管理，实时监控业务现状，为用户系统的日常诊断调优和安全问题追踪提供更全面的数据支撑。专题讨论了如何赋予技术支持人员实时高效搜索日志的能力，从而快速定位信息，发现问题根源，提升运维效率等一系列问题。
随着业务发展，越来越多的IT运维日志催生出越来越大的 Elasticsearch 集群，维护成本越来越高，分析需求越来越复杂。由于 Elasticsearch 本身的定位并不是专业的日志分析系统，在用于日志分析时，其本身的很多功能会大大影响服务器的性能。大型的 Elasticsearch 集群往往重而复杂。
日志易技术副总裁黎吾平从对 Elasticsearch 搜索引擎的改进谈起，详细叙述了要使日志更好的为企业发展赋能，需要做出的搜索引擎相关优化。为此更好的进行日志分析，日志易自研了专业的日志搜索分析引擎。
日志有其专有的格式，虽然不同的应用产生的日志格式不同，但其本身有规律可循。在实际的日志处理系统中，大量使用ETL的方式来进行日志的结构化，抽取部分必要的字段，并进行索引。Elasticsearch不支持对字段类型的不兼容的字段进行索引，但在实际中，不同用户之间，甚至同一用户之间出现字段名相同而字段类型不兼容的情况是不可避免的，为了解决这个问题，日志易自研引擎对字段的索引方式和query的改写进行了专门的处理，以支持用户的需求。
日志易新引擎性能高效且灵活。传统的 Elasticsearch 打开索引的时候会加载较多的索引信息到内存中，如tip，dii等，这样打开索引慢，而且打开的索引数量受限。在日志处理的场景中，需要保留的索引往往会达到半年以上，但是频繁查询的只有最近一两天的索引。日志易自研引擎只在内存中加载少量的索引的meta信息，通过LRU的cache的方式来管理索引文件信息，打开索引的内存占用小，因此可打开大量的索引，而且打开索引的速度快。
此外，在自研专业的日志搜索分析引擎上，日志易还在节点、线程、时间范围搜索、Replica策略改进、索引分层优化等方面做出了很多改进。
日志易的自研引擎虽然首次亮剑，其背后的日志易团队却在日志分析的道路上前行了很久。在日志数据更加重要的明天，日志易自研引擎的未来，我们拭目以待！
