告警工程落地:从 SLO Burn Rate 到 PrometheusRule、Alertmanager 与 Watchdog

告警工程落地:从 SLO Burn Rate 到 PrometheusRule、Alertmanager 与 Watchdog

Hello,我是小兔大白糖。 最难维护的告警,往往不是没触发,而是触发后没人知道该不该处理:一条消息说错误率高,另一条说 Pod 重启,频道里还有几十个实例同时刷屏。值班同学先花十分钟判断“这是不是故障”,再花十分钟寻找看板和负责人。

这篇不再重复介绍四个黄金信号。那部分可以先看《监控告警策略》。我们直接进入实现:怎样把 SLI/SLO 写成 Recording Rule 和 Burn Rate 告警,怎样用 PrometheusRule 交付规则,再让 Alertmanager 完成 Group、Inhibit、Silence 与 Route。

【示例场景·合成数据】
文中的服务、环境、域名、阈值、故障和通知渠道均为教学示例,不对应任何组织、产品或实际事件。固定数字只服务于演算,不能直接复制到生产环境。

估计阅读时间:22 分钟


目录

本文沿着“可靠性合同 → 规则计算 → 通知治理 → 响应与验证”这一条链路展开。


先给结论:告警是一条可测试的响应链

一条告警只有同时定义影响、负责人、通知路径、第一步动作和恢复条件,才算完成。

Prometheus 表达式只是链路中间的一段。完整路径是:

SLI/SLO → Recording Rule → Alerting Rule → Alertmanager → 通知 → Runbook → 响应与复盘

从 SLI 和 SLO 到告警、通知、Runbook 与复盘的完整响应链
从 SLI 和 SLO 到告警、通知、Runbook 与复盘的完整响应链 · 点击查看 SVG 原图

这条链上的组件职责不能混用:

环节负责回答不负责
SLI/SLO什么算成功,允许失败多少把消息送给谁
Recording Rule复用哪些查询语义与窗口决定是否通知
Alerting Rule何时进入 Pending 与 Firing分组、静默与重试
Alertmanager如何去重、分组、抑制和路由执行 PromQL
通知与 Runbook谁接手,先做什么,怎样验证恢复替代指标和故障证据

如果收到通知后只能“继续观察”,它更适合留在 Dashboard 或低优先级事件里。如果一条 Page 告警没有 Owner 和 Runbook,即使 PromQL 完全正确,响应链仍然是不完整的。

先把 SLI/SLO 写成可计算合同

SLI 必须先定义好事件、有效事件和统计边界,SLO 才能变成可计算的目标。

以 API 可用性为例,常见的 SLI 形式是:

可用性 SLI = 好请求数 / 有效请求数

真正困难的不是除法,而是两边分别包含什么:

  • 哪些 5xx、超时或业务结果算服务失败;
  • 客户端取消和 4xx 是否进入分母;
  • 健康检查、压测与合成流量是否剔除;
  • 重试前的失败和重试后的成功怎样计数;
  • 入口、应用还是外部探测代表最终用户体验;
  • 目标按 7 天、28 天还是自然月评估。

【目标设计】
教学示例把 example-api 的 5xx 视为坏事件,其他 HTTP 请求视为有效事件,SLO 为滚动 28 天可用性 99.9%。这只是为了演示公式,不代表 4xx、超时和业务失败在真实服务里都应忽略。

99.9% SLO 对应 0.1% 错误预算:

错误预算比例 = 1 - 0.999 = 0.001

错误预算不是“这部分失败可以不管”。它是共同决策单位:预算消耗过快时,团队可以减少高风险发布、优先修复可靠性问题;预算充足时,则不必为每个瞬时尖峰叫醒值班人员。

不同关键路径可以有不同 SLI。登录接口可能按请求成功率计算,异步任务更适合按约定时限内完成的比例计算,消息通知则可能同时关心送达率和最老未处理任务年龄。不要为了复用一条 PromQL,把不同用户承诺硬塞进同一个 SLO。

Burn Rate 用预算速度统一轻重缓急

Burn Rate(错误预算消耗速度)把“当前失败比例”换算成“预算正在以多快的速度被花掉”。

计算关系是:

Burn Rate = 当前错误比例 / 错误预算比例

在前面的 99.9% 示例里:

  • Burn Rate 为 1:按当前速度持续整个 SLO 周期,预算恰好耗尽;
  • Burn Rate 为 10:预算正在按计划速度的 10 倍消耗;
  • Burn Rate 为 0:当前窗口没有观测到坏事件。

单一短窗口发现得快,但容易被瞬时尖峰触发;单一长窗口更稳定,却可能在用户已经明显受影响后才报警。多窗口策略要求长窗口和短窗口同时超过同一 Burn Rate 门槛:长窗口证明预算损失值得处理,短窗口证明问题此刻仍在继续。

告警意图长窗口负责短窗口负责常见去向
快速消耗证明预算正在明显损失确认故障仍活跃Page
中速消耗过滤短促尖峰避免用陈旧平均值通知Page 或限时处理
慢速持续消耗发现长期侵蚀确认近期仍未恢复Ticket

阈值可以从团队愿意在某个长窗口内损失的预算比例反推:

Burn Rate 阈值 = 预算损失比例 × SLO 周期 / 长窗口

例如,教学场景希望在 1 小时内消耗 28 天预算的 2% 时触发快速告警,阈值是:

0.02 × 28 × 24 / 1 = 13.44

13.44 不是行业标准。预算周期、允许损失比例、长短窗口、for 时长和通知级别,都取决于服务流量、故障损失、响应时间和团队值班能力。低流量服务还要单独处理“一个失败请求就让比例很高”的情况;可以增加最小事件量、延长窗口或使用外部探测,但最小事件量也可能隐藏真实的低频关键失败。

Recording Rule 固化语义,PrometheusRule 负责交付

先用 Recording Rule 固化分子、分母和窗口,再让 Alerting Rule 只表达“何时需要行动”。

下面是一份脱敏的 PrometheusRule 摘要。先为每个窗口生成请求速率、错误速率和 Burn Rate;1 小时窗口使用同样结构,把范围改为 [1h],并把记录名后缀改为 rate1h 与 ratio1h:

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: example-api-slo
spec:
  groups:
    - name: example-api-sli-recording
      interval: 30s
      rules:
        - record: service:http_requests:rate5m
          expr: sum by (service, environment) (
            rate(http_server_requests_total[5m]))
        - record: service:http_errors:rate5m
          expr: sum by (service, environment) (
            rate(http_server_requests_total{status_class="5xx"}[5m]))
            or on (service, environment)
            0 * service:http_requests:rate5m
        - record: service:slo_burn_rate:ratio5m
          expr: (service:http_errors:rate5m
            / clamp_min(service:http_requests:rate5m, 1e-9))
            / 0.001

长短窗口都准备好后,Alerting Rule 只表达触发条件和响应元数据:

- name: example-api-slo-alerts
  rules:
    - alert: ExampleAPIErrorBudgetFastBurn
      expr: |
        service:slo_burn_rate:ratio1h > 13.44
        and on (service, environment)
        service:slo_burn_rate:ratio5m > 13.44
      for: 2m
      keep_firing_for: 5m
      labels:
        severity: page
        team: service-team
        slo: availability-99.9
      annotations:
        summary: "example-api 正在快速消耗错误预算"
        runbook_url: "https://docs.example.invalid/runbooks/api-fast-burn"

这份配置刻意展示了几个实现边界:

  1. 错误时序从未出现时,5xx 聚合可能返回空向量;or 0 * 总请求速率 用已有分母补出零错误。
  2. clamp_min() 只防止除零,不等于低流量保护。是否加入最小请求量,要由 SLO 语义决定。
  3. and on (service, environment) 只保留两个窗口标签一致的序列,避免跨服务误配。
  4. 13.44、for: 2m 和 keep_firing_for: 5m 都是演示参数,不是默认答案。
  5. team、severity、service 和 environment 必须形成稳定路由合同,不能由自由文本临时拼接。

PrometheusRule 存在于 Kubernetes API,并不代表 Prometheus 已经加载。还要检查 Prometheus 自定义资源的 ruleSelector 与 ruleNamespaceSelector 是否覆盖该对象,并通过 Prometheus 的 Rules 页面或 /api/v1/rules 验证规则已经进入预期 Group。

规则文件也不要在 Prometheus 或 Grafana UI 里临时手改。Manifest、生成模板和测试应进入同一次代码评审;如果 Grafana Managed Alerting 已经计算同一条件,要先确定唯一评估方,避免同一故障产生两套状态和通知。

for、keep_firing_for 与 No Data 各管不同问题

for 过滤短暂触发,keep_firing_for 缓冲短暂恢复,No Data 则需要独立定义语义。

Alerting Rule 的状态变化可以这样理解:

  • 表达式不满足时,告警处于 Inactive;
  • 表达式持续满足但尚未达到 for 时长时,告警处于 Pending;
  • 持续满足 for 后,告警进入 Firing;
  • 配置 keep_firing_for 后,条件短暂恢复时仍可维持一段 Firing,减少抖动造成的反复开关。

for 不能修复错误阈值,也不能替代长短窗口。keep_firing_for 也不表示故障仍然存在;通知和 Runbook 必须说明,它只是状态保持策略。

No Data 更不能统一当成零。目标消失、Label 改名、采集失败、规则选择器失效和服务确实没有流量,都可能得到空向量。每条规则至少要回答:

  1. 无流量是正常业务低谷,还是入口已经断开;
  2. 时序消失需要由 absent()、Target Down 还是外部探测发现;
  3. 服务刚发布时,长窗口尚未积累足够数据应怎样处理;
  4. Recording Rule 自己停止产出时,谁来告警。

不要在每条业务表达式里机械地把空值补成零。对错误率来说,补零可能把采集失明伪装成健康;更稳妥的做法是把“服务健康”和“观测链完整”拆成两类规则。

Alertmanager 负责通知治理,不负责判断故障

Alertmanager 接收已经 Firing 的告警实例,再决定哪些实例合并、静默、抑制和送往哪个接收器。

Alertmanager 使用路由、分组、抑制、静默和兜底接收器治理通知
Alertmanager 使用路由、分组、抑制、静默和兜底接收器治理通知 · 点击查看 SVG 原图

四个最容易混淆的能力是:

能力解决的问题主要风险
Group同一故障的多个实例合成一条通知分组键过细,仍按 Pod 刷屏
Inhibit上游严重告警出现时,压制关联的下游噪声规则过宽,隐藏独立并发故障
Silence计划维护或已知问题期间临时不通知没有原因和过期时间,永久掩盖问题
Route按 Label 选择接收器、分组参数和重复间隔漏标后落错组或无人接收

下面是脱敏的 Alertmanager 教学配置。所有时间参数都需要按响应目标和渠道成本校准:

route:
  receiver: platform-catchall
  group_by: [alertname, service, environment]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - receiver: deadman-external
      matchers:
        - alertname="Watchdog"
      group_wait: 0s
      repeat_interval: 5m
    - receiver: oncall
      matchers:
        - severity="page"
      repeat_interval: 30m
    - receiver: team-chat
      matchers:
        - severity="warning"

抑制规则单独表达“上游症状成立时,哪些下游噪声可以暂时不通知”:

inhibit_rules:
  - source_matchers:
      - alertname="ExampleAPIErrorBudgetFastBurn"
      - severity="page"
    target_matchers:
      - alertname=~"ExampleAPICPUHigh|ExampleAPIRestarts"
      - severity="warning"
    equal: [service, environment]

Receiver 只保存通知方式;Webhook、Slack Token 等凭据通过 Secret 文件或密钥系统注入:

receivers:
  - name: platform-catchall
    slack_configs:
      - api_url_file: /etc/alertmanager/secrets/slack-webhook/url
        channel: "#example-alerts-review"
        send_resolved: true
  - name: team-chat
    slack_configs:
      - api_url_file: /etc/alertmanager/secrets/slack-webhook/url
        channel: "#example-alerts"
        send_resolved: true
  - name: oncall
    webhook_configs:
      - url: "https://notify.example.invalid/v1/alerts"
        send_resolved: true
  - name: deadman-external
    webhook_configs:
      - url: "https://deadman.example.invalid/v1/heartbeat"

路由树默认在匹配第一个子 Route 后停止继续匹配,除非显式使用 continue: true。因此要让 Watchdog 走独立外部路径,应把它放在可能同时匹配的通用 Route 之前。

根 Route 不建议指向一个悄悄丢弃消息的空接收器。兜底接收器可以暴露缺少 severity 或 team 的规则,再由团队修正标签合同。生产与非生产环境也应明确分路由;开发环境默认不应叫醒生产值班人员。

Silence 是 Alertmanager 的运行时对象,不是把某条告警从规则仓库里删掉。每个 Silence 都应记录创建者、原因、工单或变更、开始时间和过期时间。计划维护结束后,让 Silence 自动过期,而不是靠某个人记得回来解除。

通知和 Runbook 要把下一步动作送到人面前

通知负责提供最短上下文,Runbook 负责给出安全的第一轮处置,而不是写一部原因百科。

一条 Page 通知至少应包含:

  • 告警状态:Firing 还是 Resolved;
  • 服务、环境、SLO 和严重级别;
  • 当前值、阈值、持续时间和触发窗口;
  • 用户可能受到的影响;
  • Dashboard、Logs、Trace 和最近发布入口;
  • Runbook 与临时 Silence 入口;
  • 明确的 Owner 与升级路径。

Slack Receiver 的 send_resolved 默认值是 false,需要显式设为 true 才会发送恢复消息;其他 Receiver 的默认值可能不同,生产配置仍建议写明。恢复通知不等于事故结束:如果 keep_firing_for 仍在保持状态,或者 SLO 长窗口仍然偏高,值班人员还要按 Runbook 验证用户症状和关键路径。

每条 Page 告警的 Runbook 可以统一成八个问题:

  1. 怎样确认告警仍然有效;
  2. 怎样确认真实用户影响;
  3. 第一张 Dashboard 看什么;
  4. 如何区分入口、应用、Kubernetes 与依赖;
  5. 哪些止损动作可以安全执行;
  6. 哪些操作需要审批或双人确认;
  7. 怎样验证恢复并观察回归;
  8. 何时升级给其他团队。

“联系开发处理”不是 Runbook。它既没有第一步证据,也没有安全边界。命令、链接、Owner 和权限发生变化后,Runbook 也要跟着代码评审和定期演练。

promtool 把规则测试提前到合并之前

语法检查只能发现文件能否解析,单元测试才能证明规则在边界数据下怎样触发。

常见的本地与 CI 校验包括:

promtool check rules api-slo.rules.yml
promtool test rules api-slo.test.yml
amtool check-config alertmanager.yml

promtool check rules 接收 Prometheus 原生的 groups: 规则文件,不直接识别 Kubernetes 的 PrometheusRule 外壳。使用 CRD 交付时,可以在 CI 中渲染 Manifest,再把 .spec.groups 提取成原生规则文件进行检查;测试对象必须和最终发布内容来自同一份源配置。

下面的测试使用合成 Counter,让 2xx 每分钟增加 98.5、5xx 每分钟增加 1.5。总请求每分钟增加 100,错误比例为 1.5%,在 0.1% 错误预算下对应 Burn Rate 15:

rule_files:
  - api-slo.rules.yml
evaluation_interval: 1m
group_eval_order:
  - example-api-sli-recording
  - example-api-slo-alerts
tests:
  - name: fast burn becomes firing after for duration
    interval: 1m
    input_series:
      - series: 'http_server_requests_total{service="example-api",environment="production",status_class="2xx"}'
        values: "0+98.5x6"
      - series: 'http_server_requests_total{service="example-api",environment="production",status_class="5xx"}'
        values: "0+1.5x6"
    alert_rule_test:
      - eval_time: 1m
        alertname: ExampleAPIErrorBudgetFastBurn
        exp_alerts: []
      - eval_time: 3m
        alertname: ExampleAPIErrorBudgetFastBurn
        exp_alerts:
          - exp_labels:
              service: example-api
              environment: production
              severity: page
              team: service-team
              slo: availability-99.9

这只是最小用例。完整测试至少还要覆盖:

  • 长窗口超阈值、短窗口已恢复时不触发;
  • 恰好位于阈值边界时采用 > 还是 >=;
  • 错误时序从未出现时,Recording Rule 仍产出零;
  • 总请求时序消失时,不被误判为健康;
  • for 期间短暂恢复后是否重新计时;
  • keep_firing_for 期间的 Firing 与最终 Resolved;
  • Label、Annotation 与 Alertmanager Route 使用的合同一致。

单元测试通过后,还要在预发布环境验证 Prometheus 已加载规则、Alertmanager 路由命中正确 Receiver、Firing 与 Resolved 都能到达。不要通过临时降低真实生产阈值制造测试告警;使用独立合成规则或受控测试环境更安全。

Watchdog 用外部观察者检查告警链

Watchdog 应持续 Firing,再由监控系统之外的接收器检查心跳是否按时到达。

普通告警只能证明“条件满足时系统曾经发出过消息”。如果 Prometheus、Alertmanager、网络或通知集成整体失效,内部系统可能连“我坏了”都发不出来。

一个最小 Watchdog 规则可以保持恒真:

- alert: Watchdog
  expr: vector(1)
  labels:
    severity: none
    team: platform
  annotations:
    summary: "告警链心跳"

Alertmanager 为它配置独立 Route,并按固定 repeat_interval 把通知发送到外部 Dead-man 服务。外部服务维护最后到达时间;超过约定期限没有新心跳时,由外部系统通过独立渠道通知。

Watchdog 能覆盖的范围取决于接收点:

外部接收点能证明的链路仍不能证明
Alertmanager 外部 WebhookPrometheus 评估、发送到 Alertmanager、路由与 Webhook 出站Slack 或值班平台是否可用
值班平台 Heartbeat前述链路和值班平台接收人是否及时认领
独立合成演练指定通知渠道和响应流程下一次故障一定成功

因此还要监控 Rule Evaluation Error、Prometheus 到 Alertmanager 的发送失败、Alertmanager Notification Failure、队列和集群状态。Watchdog 不应被普通 Inhibit 规则或长期 Silence 吞掉;外部检查也不能和被检查的 Prometheus、Alertmanager 部署在同一故障域。

一次发布后的告警怎样跑完整条链

完整演练要同时证明规则触发、通知降噪、人员止损和恢复验证,而不是只看频道里出现一条消息。

【示例场景·合成数据】
某次发布后,example-api 的 5xx 在两分钟内持续升高。数值和时间均为教学构造。

  1. 5 分钟 Burn Rate 先升高,1 小时窗口随后也超过教学阈值;
  2. 两个窗口同时满足后,告警进入 Pending;
  3. 持续达到 for 时长后,告警转为 Firing;
  4. Alertmanager 把同一服务的多个实例合并,并抑制相关 CPU 与重启 Warning;
  5. Page 通知携带用户影响、Dashboard、最近发布和 Runbook;
  6. 值班人员确认错误集中在新版本,按授权流程回滚;
  7. 短窗口恢复后,keep_firing_for 避免一分钟抖动造成反复开关;
  8. 最终 Resolved 到达,值班人员继续验证外部请求和错误预算趋势;
  9. 复盘补上发布前缺失的依赖失败用例,并调整规则测试。

这条链既比“任意 5xx 大于零就发消息”稳定,也比只看长窗口平均值更及时。真正需要验收的是每一步的证据和责任,而不是某一条 PromQL 看起来足够复杂。

常见失败发生在规则与路由的接缝处

告警工程最常见的问题不是语法错误,而是相邻环节对标签、状态和责任的理解不一致。

现象常见原因修正方向
PrometheusRule 已部署但 Rules 页面没有ruleSelector 或 Namespace 选择不匹配验证 CRD、Selector 与 /api/v1/rules
从未发生错误时 Burn Rate 没有序列错误分子为空向量用总请求序列补零,并单测
一个 Pod 一条通知pod、instance 进入主分组键按 alertname + service + environment 分组
Page 落入默认频道缺少或拼错 severity、team为必需 Label 做静态检查与兜底审计
上游故障时下游仍刷屏没有 Inhibit,或 equal 标签不一致用窄匹配测试抑制关系
维护结束后仍无通知Silence 没有过期,或被重复创建强制 Owner、原因和有效期
规则恢复但没有恢复消息Receiver 未开启 send_resolved对每条通知路径测试 Firing 与 Resolved
监控停摆却无人知道Watchdog 仍在系统内部自证增加外部 Dead-man 与独立通知
同一故障收到两套状态Prometheus 与 Grafana 重复评估明确唯一规则所有者
Runbook 只有“联系开发”没有第一步证据与安全动作补确认、止损、验证和升级边界

小结

告警工程的交付物不是一组阈值,而是一条可计算、可路由、可测试、可演练的响应链。

  • 先定义 SLI 的好事件、有效事件与统计窗口,再写 SLO;
  • Burn Rate 用预算消耗速度统一严重度,多窗口同时兼顾稳定与及时;
  • Recording Rule 固化语义,PrometheusRule 负责在 Operator 环境中交付;
  • for、keep_firing_for 和 No Data 分别处理持续触发、短暂恢复与数据缺失;
  • Alertmanager 用 Group、Inhibit、Silence 与 Route 控制通知,不执行 PromQL;
  • 每条 Page 都需要 Owner、可达通知、Runbook、恢复验证和规则测试;
  • Watchdog 必须由外部观察者接收,监控系统不能只靠自己证明自己正常。

落地前按版本核对

以下行为依赖目标环境的组件版本、Operator 配置或发行版,发布前必须逐项确认。

  • 确认目标 Prometheus 版本是否支持 keep_firing_for,以及当前 Prometheus Operator CRD、校验工具和发布模板是否完整保留该字段。
  • 核对 Prometheus 的 ruleSelector、ruleNamespaceSelector,以及 AlertmanagerConfig 的 Selector、Namespace 与 Route 合并策略;不同 Operator 版本和平台封装可能有差异。
  • 检查当前监控发行版是否已经提供 Watchdog 或同类恒真规则、它的实际 alertname 是什么,以及现有 Inhibit、Silence 和 Route 是否会吞掉该心跳。
  • 验证外部 Dead-man 服务的超时窗口、重试语义和独立通知渠道;它必须大于 Alertmanager 重复发送间隔与合理抖动,但不能与主监控链共享同一故障域。

公开参考

下列公开资料用于核对 SLO 告警、Prometheus 规则、Alertmanager 配置、Operator CRD 与规则测试。