监控告警 #

┌──────────────────────────────────────────────────────────────┐
│                       告警生命周期                             │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│  数据采集  →  指标评估  →  告警触发  →  告警发送  →  告警处理  │
│    │           │          │         │        │              │
│    └───┬───────┴───────────┴─────────┴────────┘             │
│        │                                                    │
│    └─→ INFINI Console 告警管理平台                          │
│                                                              │
└──────────────────────────────────────────────────────────────┘

规则名称：集群状态异常
规则类型：Easysearch 集群健康
触发条件：status != 'green' for 1m
告警等级：P1
通知渠道：钉钉 + 邮件
描述：当集群状态为 yellow 或 red 超过 1 分钟时触发

通知规则：
  - P0 告警：立即发送短信和 Webhook
  - P1 告警：发送钉钉和邮件
  - P2 告警：仅发送企业微信

- 集群变黄告警
- 集群变红告警
- 集群脑裂检测
- 主节点无响应
- 节点离线告警

- 搜索延迟过高
- 写入延迟过高
- Bulk 拒绝告警
- 查询超时告警
- GC 时间过长

- 磁盘使用率告警
- 内存使用率告警
- CPU 使用率告警
- 堆内存告警
- 热点线程检测

- 副本不一致告警
- 快照失败告警
- 索引损坏告警

# 示例：磁盘告警
- 使用率 > 75%：P2 警告，提醒关注
- 使用率 > 85%：P1 重要，需要立即扩容
- 使用率 > 95%：P0 紧急，可能导致集群变为 read-only

# 示例：JVM 堆内存告警
- 使用率 > 75%：P2 警告
- 使用率 > 85%：P1 重要，可能导致 GC 风暴
- 使用率 > 95%：P0 紧急，立即处理

告警触发
   ↓
告警通知（邮件/短信/Webhook）
   ↓
收到通知 → 查看告警详情
   ↓
确认告警真实性 → 检查历史趋势
   ↓
执行处理动作
   ├─ 临时措施（如降低写入）
   ├─ 根本原因诊断
   └─ 长期解决方案（如扩容）
   ↓
更新告警状态 → 关闭告警

# prometheus.yml - 配置 Easysearch exporter
scrape_configs:
  - job_name: 'easysearch'
    static_configs:
      - targets: ['localhost:9114']  # Elasticsearch Exporter

# alerting_rules.yml
groups:
  - name: easysearch
    rules:
      - alert: EasysearchClusterRed
        expr: elasticsearch_cluster_health_status{color="red"} == 1
        for: 1m
        annotations:
          summary: "Easysearch 集群变红"