当前位置: 欣欣网 > 码农

低成本、高性能:滴滴Elasticsearch全业务应用与实践

2024-06-26码农

一、滴滴 Elasticsearch 简介

1.简介

Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 接口的全文搜索引擎,其每个字段均可被索引,且能够横向扩展至数以百计的服务器存储以及处理 TB 级的数据,其可以在极短的时间内存储、搜索和分析大量的数据。

滴滴 ES 发展至今,承接了公司绝大部分端上文本检索、少部分日志场景和向量检索场景,包括地图 POI 检索、订单检索、客服、内搜及把脉日志 ELK 场景等。滴滴 ES 在2020年由2.X升级到7.6.0,近几年围绕保稳定、控成本、提效能和优生态这几个方向持续探索和改进,本文会围绕这几个方向展开介绍。

2.架构

滴滴 ES 整体产品架构如上图所示,目前ES服务基于物理机部署,Gateway 和管控基于容器部署,我们也调研过 ES on K8S,因为我们 ES 的业务场景多是在线端上文本检索,考虑到稳定性,所以最后还是决定使用物理机部署模式。

管控层主要负责实现以下功能:智能 segment Merge(防止 segment 膨胀导致 datanode Full GC),索引生命周期管理,索引预创建(避免每天凌晨索引集中创建,导致 Master/Clientnode OOM),租户管控等。

网关层(Gateway)除了负责读写转发外,还具备查询优化能力(例如,将 BKD 查询改写为数值类型的等值查询或范围查询)、三级限流(包括 AppID、索引模板级别和查询 DSL 级别)、租户鉴权功能以及 SQL 能力(基于 NLPChina 开源的 ES SQL 能力进行魔改并封装到 Gateway)等。我们的检索服务仅对外暴露 Gateway 接口。

3.用户控制台

用户控制台是我们提供给业务方产品接入的平台,主要功能:

  • 应用管理: 允许业务方通过申请 AppID 来获取读写索引的权限。

  • 索引管理: 支持新建索引、申请索引读写权限、索引 mapping 创建和更改、以及索引的清理和下线操作。

  • 检索查询提供多种查询方式,包括 Kibana、DSL 和 SQL,以满足不同的查询需求。

    同时业务方可以在查询分析模块看到对应的异常分析和慢查分析等,方便查询优化。监控方面业务方可以查看索引元信息(如文档数及大小等)以及读写速率等,以监控系统运行状态。

    4.运维管控平台

    运维管控平台主要是满足 RD 和 SRE 日常运维需求,主要功能包括以下几个方面:

  • 集群管控: 展示集群信息,对用户暴露的是逻辑集群,一个逻辑集群可包含多个物理集群,如用户看到的集群信息是一个 important 公共集群,但是真实的物理集群包含几十个小的公共 important 集群

  • 租户管理 (租户元信息和租户级别的限流)

  • 模版管理: 索引模板元数据管理,非更新索引可以通过升版本调整 shard 数,也可以在此处对索引模板限流

  • 异常分析: 模版分析、慢查分析及异常分析

  • 操作记录 用户行为及管控定时任务记录

  • 二、Elasticsearch 在滴滴的应用

    1.业务场景

  • 在线全文检索服务,如地图 POI 起终点检索

  • MySQL 实时数据快照,在线业务如订单查询

  • 一站式日志检索服务,通过 Kibana 查询,如 trace 日志

  • 时序数据分析,如安全数据监控

  • 简单 OLAP 场景,如内部数据看板

  • 向量检索,如客服 RAG

  • 2.部署模式

  • 物理机+小集群部署方式,最大集群机器规模100台物理机左右

  • 3.接入方式

  • 通过用户控制台创建索引,业务方根据业务需求选择对应集群

  • 通过网关查询,根据集群等级提供 gateway vip 地址,该网关是一个 HTTP 类型的服务,我们做了兼容,业务方可以通过官方提供的SDK读写Gateway,Gateway 会根据索引找到对应的ES集群

  • 4.数据同步方式

    一共两种数据同步方式,一种是走同步中心(公司数据平台提供统一的同步服务),一种是通过 Gateway 实时写入,同步中心支持实时类和离线类的数据同步方式。

    实时类:

  • 日志 -> ES

  • MQ(Kafka、Pulsar)-> ES

  • MySQL -> ES

  • 实时类同步方式

    如上图所示,实时类同步方式有2种,一种是日志和 MySQL Binlog 通过采集工具采集到 MQ,之后通过统一封装的 DSINK 工具,通过 Flink 写入到 ES;另一种是 MySQL 全量数据,其基于开源的 DataX 进行全量数据同步。

    离线类:

  • Hive -> ES

  • 离线类Hive->ES

    Hive->ES 整体思路是通过 Batch Load,加快数据导入。通过 MR 生成 Lucene 文件,之后通过封装的 ES AppendLucene 插件把 Lucene 文件写入到 ES 中。Hive->ES 整体流程,如上图所示:

  • 使用 MR 生成 Lucene 文件

  • Lucene 保存在 HDFS 里

  • 将文件拉取到 DataNode 里

  • 导入到 ES 中

  • 三、引擎迭代

    1.精细化分级保障

    精细化分级保障主要解决的问题是当集群出现故障时,影响面降低到最低,主要包括以下策略:

  • 集群级别隔离: 4种保障级别(日志集群、公共集群、独立集群和双活集群),业务接入时,会在用户控制台选择其想要的集群。如果选错集群我们会通过 DCDR(下文介绍)帮助业务在不影响业务且不感知的前提下迁移到其他集群。

  • Clientnode 隔离: Clientnode 读写分离,当 Clientnode 异常时,能快速定位故障原因也能减少影响面。如集群写入慢且写入量过大,Clientnode 可能导致 OOM,此时只会影响写入不会影响查询,可以降低业务的影响面。

  • Datanode Region 隔离: 当集群出现异常索引(如异常索引导致整个 datanode 写入过慢)时,可以通过打 label 的方式,让异常索引快速迁移到指定机器,避免影响集群上其他业务。

  • 2.多活建设

    滴滴跨数据中心复制能力 - Didi Cross Datacenter Replication,由滴滴自研,简称DCDR,它能够将数据从一个 Elasticsearch 集群原生复制到另一个 Elasticsearch 集群。原理如下图所示,DCDR 工作在索引模板或索引层面,采用主从索引设计模型,由 Leader 索引主动将数据 push 到 Follower 索引,从而保证了主从索引数据的强一致性。


    我们调研了官方自带的的 ES CCR,发现其收费且基于 pull-based 模型,时效性较差,所以我们的 DCDR 方案是:

  • Push-based 模型,实时写入基于 Request

  • 新增 CheckPoint 避免全量数据拷贝

  • 新增 Sequence Number 保障更新操作主从一致性

  • 引入写入队列,避免大量数据复制导致 OOM

  • DCDR解决了数据跨集群或者跨机房的数据实时同步问题,且我们基于管控实现了双活能力。

    ES DCDR 的详细解析见:【 】

    3.性能专项:JDK17 + ZGC

    JDK11-G1 Yong GC 平均暂停时间长,不满足业务 P99 要求,如 POI 超时,时是180ms,P99 要求60ms内,支付业务 P99 500ms,订单业务 P99 400ms;写入数据量大的场景,GC 频繁,加剧集群写入 reject 问题,写入延时大,不满足业务需求。

    基于上述背景,我们对 JDK17-ZGC 进行调研,经过测试 ZGC 可以将 GC 暂停时间控制在10ms内,能够很好地解决 GC 导致的查询耗时问题。同时针对日志这种高吞吐场景,测试了JDK17-G1,发现 GC 性能相较于 JDK11-G1 提升了15%,并且 JDK17 在向量化支持、字符串处理等方面做了许多优化,能在一定程度上缓解日志集群的写入压力。所以我们决定将 ES JDK 版本从11升级到17,并将部分业务 GC 算法从 G1 升级到 ZGC,主要工作如下:

  • Groovy 语法升级、 Plugin 插件重构

  • 解决语法格式导致代码编译失败问题

  • 解决 ES 源码触发 JVM 编译 BUG

  • 依赖 Jar 包升级、类替换、类重构、注解优化

  • 搭建 ZGC 监控指标体系

  • ZGC监控指标体系

    支付集群上线ZGC后,P99从800ms降低到30ms,下降96%平均查询耗时从25ms降低到6ms,下降75%。日志集群升级JDK17后,写入性能提升15~20%,解决写入队列堆积和 reject 问题。

    ES JDK17的升级,详情见:【 】

    4.成本优化

    成本优化主要包括降低机器成本和降低用户成本。

    降低机器成本核心是降低存储规模和降低 CPU 使用率,即降低机器数;降低用户成本的核心逻辑是降低业务用量,所以 ES 整体成本优化策略如下:

  • 索引 Mapping 优化,禁止部分字段倒排、正排

  • 新增 ZSTD 压缩算法,CPU 降低15%

  • 接入大数据资产管理平台,梳理无用分区和索引,协助业务下线

  • 关于 ES 支持 ZSTD 的实现,详情见:【 】

    5.多租户资源隔离

    JDK原生线程池模型:

  • 主线程调用 execute、或者 submit 等方法提交任务给线程池。

  • 如果线程池中正在运行的工作线程数量小于 corePoolSize(核心线程数量),那么马上创建线程运行这个任务。

  • 如果线程池中正在运行的工作线程数量大于或等于 corePoolSize(核心线程数量),那么将这个任务放入队列,稍后执行。

  • 如果这时队列满了且正在运行的工作线程数量还小于 maximumPoolSize(最大线程数量),那么会创建非核心工作线程立刻运行这个任务,这部分非核心工作线程空闲超过一定的时间(keepAliveTime)时,就会被销毁回收。

  • 如果最终提交的任务超过了 maximumPoolSize(最大线程数量),那么就会执行拒绝策略。

  • 我们借鉴了 Presto Resource Group 隔离的思路,策略是将原来的 search 线程池按照配置拆分为多个 seach 线程池并组建线程池组。由于多租户的查询 QPS、重要等级不同,可以配置相应的线程数量和队列大小。通过线程池组模式,隔离不同 Appid 用户的查询请求。

    核心工作流程为获取 Appid,根据配置的Appid隔离信息将任务提交到对应的子线程组中运行。


    目前此优化主要用于一份索引数据会被很多个业务方使用的场景,如订单业务,订单业务会被公司各个业务线使用,所以查询 appid 会非常多,我们通过多租户资源隔离限制指定 Appid 的线程池大小,避免由于某业务突然发送大量读请求导致 CPU 打满,核心业务受损。

    6.数据安全


    两种级别的鉴权和认证:

  • Gateway 级别 主要是 Appid 级别的鉴权

  • ES 级别 (Clientnode、Datanode、MasterNode),主要是做认证

  • ES 的 X-Pack 插件是有安全认证能力的,但是不支持集群滚动升级重启,无法快速回滚,误删存储有稳定性风险,基于此我们自研了一个安全插件,优势:

  • 架构简单,逻辑清晰,只需在 HTTP 请求处理环节中进行简单的字符串校验,无需涉及节点内部 TCP 通信验证。

  • 支撑 ES 集群滚动重启升级

  • 支持一键开关安全认证能力,可以快速止损

  • 关于ES安全认证方案,详情见:【 】

    7.稳定性治理

    在线文本检索对稳定性要求非常高,所以过去的三年,我们稳定性方面主要做了如下图所示的以下工作:


    稳定性治理主要是做好三件事:事前、事中和事后。事情预防为主,事中能够快速定位和止损,事后注重复盘,避免问题重复出现,

  • 事前预防为主,持续优化 我们每年都会把稳定性当做最重要的事情去做,规范先行,落实稳定性红线,包括方案设计、代码规范、上线规范、报警处理及故障管理等。每年都会执行稳定性「扫雷」专项,三年时间我们共解决了61个稳定性隐患,如解决 Gateway Full GC 问题(业务限流后,Gateway会立马恢复正常),元数据治理,重写部分锁解决 ThreadLocal 泄露(ThreadLocal 泄露会导致部分节点突然 CPU 飙升)等,同时落地故障止损SOP

  • 监控报警体系建设 ,我们做了基础监控(如硬盘、CPU等),指标监控(如shard数,master pending task 个数等),链路监控(监控 MQ Lag,提前发现链路延时问题)

  • 指标系统建设 ,通过 grafana 建设了监控大盘,包括模版指标,shard 指标,节点指标及集群指标等,这些指标能够协助我们快速定位故障原因,如 CPU 突增问题,我们可以做到5分钟内快速止损

  • 止损侧 我们做了自愈系统(如磁盘故障,查询突增),日常双活切流演练,读写限流等,其中读限流做了基于 Appid、索引模板和查询DSL的限流,当出现集群 CPU 突增问题时,限流方案也会尽可能降低对业务的影响。

  • 总结与展望

    近年来,我们基于 ES 7.6.0 版本,围绕保稳定、控成本、提效能和优生态方面进行了持续的探索和改进。目前,我们的 ES 引擎已在滴滴内部统一应用于所有在线检索场景,并在稳定性方面成为大数据架构部的标杆。

    我们还尝试过一些创新方案,如冷热数据分离、离在线混合部署以及使用 Flink Checkpoint 机制替代 Translog 等,但由于性能或稳定性等方面的考虑,这些方案并未被采纳。然而,随着技术的不断发展,我们将继续探索和完善这些方案,以应对未来可能出现的挑战。

    目前,我们使用的 ES 版本是 7.6,而社区的最新版本已经更新至 8.13,两者之间存在约 4 年的版本差距。因此,我们今年的重点工作是将 ES 平滑升级至 8.13 版本,以解决以下问题:

  • 新版本的 ES Master 性能更优

  • 能够根据负载自动平衡磁盘使用

  • 减少 segment 对内存的占用

  • 支持向量检索的 ANN 等新特性

  • 在性能方面,我们将针对更新场景优化写入性能,同时改进查询过程中的 Merge 策略。此外,我们还将持续探索新版本 ES 的机器学习能力,以便更好地为业务提供支持。

    作者丨杜若飞

    来源丨公众号:滴滴技术(ID: didi_tech

    dbaplus社群欢迎广大技术人员投稿,投稿邮箱: [email protected]