如何监控 Elasticsearch 里面的慢查询请求 #

简介 #

很多时候，Elasticsearch 集群会出现数据写入或者查询流量高峰期的情况，这个时候 Elasticsearch 集群压力会很大，通过对 Elasticsearch 索引查询的延迟的监控告警。可以让我们定位 Elasticsearch 集群的压力主要集中在哪些索引。本文将介绍如何使用 INFINI Console 告警功能监控 Elasticsearch 里面的慢查询请求索引。

准备 #

下载并安装最新版 INFINI Console
使用 INFINI Console 注册 Elasticsearch 集群

创建告警规则 #

在浏览器中打开 INFINI Console，点击左侧菜单 告警管理 > 规则管理 进入告警管理页，然后点击 新建 按钮进入创建告警规则页。按以下步骤创建告警规则：

选择集群（这里需要选择 INFINI Console 存储数据的 Elasticsearch 集群，也就是在配置文件 console.yml 配置的 Elasticsearch 集群，如果没有注册到 INFINI Console，请先注册）
输入告警对象 .infini_metrics*（选择 Elasticsearch 集群下的索引，或者输入索引 pattern，这里因为 INFINI Console 采集的监控数据存放在索引 .infini_metrics 里面）
输入筛选条件（Elasticsearch 查询 DSL）这里我们需要过滤监控指标类别为 index_stats，并且索引名称不能为 _all，DSL 如下：

{
  "bool": {
    "must": [
      {
        "term": {
          "metadata.name": {
            "value": "index_stats"
          }
        }
      },
      {
        "term": {
          "metadata.category": {
            "value": "elasticsearch"
          }
        }
      }
    ],
    "must_not": [
      {
        "term": {
          "metadata.labels.index_name": {
            "value": "_all"
          }
        }
      }
    ]
  }
}

选择时间字段 timestamp 和统计周期用于做 date histogram 聚合

security settings

输入规则名称
分组设置（可选，可配置多个），当统计指标需要分组的时候设置，由于所有注册到 INFINI Console 的 Elasticsearch 集群监控指标都存储在索引 .infini_metrics 里面，所以需要先根据集群 ID 分组，然后再根据索引名称分组，这里我们选择 metadata.labels.cluster_id 和 metadata.labels.index_name
配置告警指标，选择聚合字段 payload.elasticsearch.index_stats.total.search.query_time_in_millis，统计方法求导 derivative。然后再添加一个告警指标，选择聚合字段 payload.elasticsearch.index_stats.total.search.query_total，统计方法 derivative
配置指标公式（当配置了一个以上的告警指标的时候，需要设置一个公式来计算目标指标），这里公式 fx 配置为 a/b 来计算延时，
配置告警条件，这里配置三个告警条件，配置 持续一个周期 延时大于 100 的时候，触发 P3(Low) 告警；配置 持续一个周期 延时大于 500 的时候，触发 P1(High) 告警；配置 持续一个周期 延时大于 1000 的时候，触发 P0(Critical) 告警
设置执行周期，这里配置一分钟执行一次检查
设置事件标题，事件标题是一个模版，可以使用模版变量，模版语法及模版变量用法参考这里
设置事件内容，事件内容是一个模版，可以使用模版变量，模版语法及模版变量用法参考这里

Priority:{{.priority}}
Timestamp:{{.timestamp | datetime_in_zone "Asia/Shanghai"}}
RuleID:{{.rule_id}}
EventID:{{.event_id}}
{{range .results}}
ClusterID:{{index .group_values 0}};
Index name:{{index .group_values 1}};
Current value:{{.result_value | to_fixed 2}}ms;
{{end}}

security settings