告警工程落地:从 SLO Burn Rate 到 PrometheusRule、Alertmanager 与 Watchdog

Hello,我是小兔大白糖。 最难维护的告警,往往不是没触发,而是触发后没人知道该不该处理:一条消息说错误率高,另一条说 Pod 重启,频道里还有几十个实例同时刷屏。值班同学先花十分钟判断“这是不是故障”,再花十分钟寻找看板和负责人。
这篇不再重复介绍四个黄金信号。那部分可以先看《监控告警策略》。我们直接进入实现:怎样把 SLI/SLO 写成 Recording Rule 和 Burn Rate 告警,怎样用 PrometheusRule 交付规则,再让 Alertmanager 完成 Group、Inhibit、Silence 与 Route。
【示例场景·合成数据】
文中的服务、环境、域名、阈值、故障和通知渠道均为教学示例,不对应任何组织、产品或实际事件。固定数字只服务于演算,不能直接复制到生产环境。
估计阅读时间:22 分钟
目录
本文沿着“可靠性合同 → 规则计算 → 通知治理 → 响应与验证”这一条链路展开。
- 先给结论:告警是一条可测试的响应链
- 先把 SLI/SLO 写成可计算合同
- Burn Rate 用预算速度统一轻重缓急
- Recording Rule 固化语义,PrometheusRule 负责交付
- for、keep_firing_for 与 No Data 各管不同问题
- Alertmanager 负责通知治理,不负责判断故障
- 通知和 Runbook 要把下一步动作送到人面前
- promtool 把规则测试提前到合并之前
- Watchdog 用外部观察者检查告警链
- 一次发布后的告警怎样跑完整条链
- 常见失败发生在规则与路由的接缝处
- 小结
- 落地前按版本核对
- 公开参考
先给结论:告警是一条可测试的响应链
一条告警只有同时定义影响、负责人、通知路径、第一步动作和恢复条件,才算完成。
Prometheus 表达式只是链路中间的一段。完整路径是:
SLI/SLO → Recording Rule → Alerting Rule → Alertmanager → 通知 → Runbook → 响应与复盘
这条链上的组件职责不能混用:
| 环节 | 负责回答 | 不负责 |
|---|---|---|
| SLI/SLO | 什么算成功,允许失败多少 | 把消息送给谁 |
| Recording Rule | 复用哪些查询语义与窗口 | 决定是否通知 |
| Alerting Rule | 何时进入 Pending 与 Firing | 分组、静默与重试 |
| Alertmanager | 如何去重、分组、抑制和路由 | 执行 PromQL |
| 通知与 Runbook | 谁接手,先做什么,怎样验证恢复 | 替代指标和故障证据 |
如果收到通知后只能“继续观察”,它更适合留在 Dashboard 或低优先级事件里。如果一条 Page 告警没有 Owner 和 Runbook,即使 PromQL 完全正确,响应链仍然是不完整的。
先把 SLI/SLO 写成可计算合同
SLI 必须先定义好事件、有效事件和统计边界,SLO 才能变成可计算的目标。
以 API 可用性为例,常见的 SLI 形式是:
可用性 SLI = 好请求数 / 有效请求数
真正困难的不是除法,而是两边分别包含什么:
- 哪些 5xx、超时或业务结果算服务失败;
- 客户端取消和 4xx 是否进入分母;
- 健康检查、压测与合成流量是否剔除;
- 重试前的失败和重试后的成功怎样计数;
- 入口、应用还是外部探测代表最终用户体验;
- 目标按 7 天、28 天还是自然月评估。
【目标设计】
教学示例把example-api的 5xx 视为坏事件,其他 HTTP 请求视为有效事件,SLO 为滚动 28 天可用性 99.9%。这只是为了演示公式,不代表 4xx、超时和业务失败在真实服务里都应忽略。
99.9% SLO 对应 0.1% 错误预算:
错误预算比例 = 1 - 0.999 = 0.001
错误预算不是“这部分失败可以不管”。它是共同决策单位:预算消耗过快时,团队可以减少高风险发布、优先修复可靠性问题;预算充足时,则不必为每个瞬时尖峰叫醒值班人员。
不同关键路径可以有不同 SLI。登录接口可能按请求成功率计算,异步任务更适合按约定时限内完成的比例计算,消息通知则可能同时关心送达率和最老未处理任务年龄。不要为了复用一条 PromQL,把不同用户承诺硬塞进同一个 SLO。
Burn Rate 用预算速度统一轻重缓急
Burn Rate(错误预算消耗速度)把“当前失败比例”换算成“预算正在以多快的速度被花掉”。
计算关系是:
Burn Rate = 当前错误比例 / 错误预算比例
在前面的 99.9% 示例里:
- Burn Rate 为 1:按当前速度持续整个 SLO 周期,预算恰好耗尽;
- Burn Rate 为 10:预算正在按计划速度的 10 倍消耗;
- Burn Rate 为 0:当前窗口没有观测到坏事件。
单一短窗口发现得快,但容易被瞬时尖峰触发;单一长窗口更稳定,却可能在用户已经明显受影响后才报警。多窗口策略要求长窗口和短窗口同时超过同一 Burn Rate 门槛:长窗口证明预算损失值得处理,短窗口证明问题此刻仍在继续。
| 告警意图 | 长窗口负责 | 短窗口负责 | 常见去向 |
|---|---|---|---|
| 快速消耗 | 证明预算正在明显损失 | 确认故障仍活跃 | Page |
| 中速消耗 | 过滤短促尖峰 | 避免用陈旧平均值通知 | Page 或限时处理 |
| 慢速持续消耗 | 发现长期侵蚀 | 确认近期仍未恢复 | Ticket |
阈值可以从团队愿意在某个长窗口内损失的预算比例反推:
Burn Rate 阈值 = 预算损失比例 × SLO 周期 / 长窗口
例如,教学场景希望在 1 小时内消耗 28 天预算的 2% 时触发快速告警,阈值是:
0.02 × 28 × 24 / 1 = 13.44
13.44 不是行业标准。预算周期、允许损失比例、长短窗口、for 时长和通知级别,都取决于服务流量、故障损失、响应时间和团队值班能力。低流量服务还要单独处理“一个失败请求就让比例很高”的情况;可以增加最小事件量、延长窗口或使用外部探测,但最小事件量也可能隐藏真实的低频关键失败。
Recording Rule 固化语义,PrometheusRule 负责交付
先用 Recording Rule 固化分子、分母和窗口,再让 Alerting Rule 只表达“何时需要行动”。
下面是一份脱敏的 PrometheusRule 摘要。先为每个窗口生成请求速率、错误速率和 Burn Rate;1 小时窗口使用同样结构,把范围改为 [1h],并把记录名后缀改为 rate1h 与 ratio1h:
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: example-api-slo
spec:
groups:
- name: example-api-sli-recording
interval: 30s
rules:
- record: service:http_requests:rate5m
expr: sum by (service, environment) (
rate(http_server_requests_total[5m]))
- record: service:http_errors:rate5m
expr: sum by (service, environment) (
rate(http_server_requests_total{status_class="5xx"}[5m]))
or on (service, environment)
0 * service:http_requests:rate5m
- record: service:slo_burn_rate:ratio5m
expr: (service:http_errors:rate5m
/ clamp_min(service:http_requests:rate5m, 1e-9))
/ 0.001长短窗口都准备好后,Alerting Rule 只表达触发条件和响应元数据:
- name: example-api-slo-alerts
rules:
- alert: ExampleAPIErrorBudgetFastBurn
expr: |
service:slo_burn_rate:ratio1h > 13.44
and on (service, environment)
service:slo_burn_rate:ratio5m > 13.44
for: 2m
keep_firing_for: 5m
labels:
severity: page
team: service-team
slo: availability-99.9
annotations:
summary: "example-api 正在快速消耗错误预算"
runbook_url: "https://docs.example.invalid/runbooks/api-fast-burn"这份配置刻意展示了几个实现边界:
- 错误时序从未出现时,5xx 聚合可能返回空向量;
or 0 * 总请求速率用已有分母补出零错误。 clamp_min()只防止除零,不等于低流量保护。是否加入最小请求量,要由 SLO 语义决定。and on (service, environment)只保留两个窗口标签一致的序列,避免跨服务误配。13.44、for: 2m和keep_firing_for: 5m都是演示参数,不是默认答案。team、severity、service和environment必须形成稳定路由合同,不能由自由文本临时拼接。
PrometheusRule 存在于 Kubernetes API,并不代表 Prometheus 已经加载。还要检查 Prometheus 自定义资源的 ruleSelector 与 ruleNamespaceSelector 是否覆盖该对象,并通过 Prometheus 的 Rules 页面或 /api/v1/rules 验证规则已经进入预期 Group。
规则文件也不要在 Prometheus 或 Grafana UI 里临时手改。Manifest、生成模板和测试应进入同一次代码评审;如果 Grafana Managed Alerting 已经计算同一条件,要先确定唯一评估方,避免同一故障产生两套状态和通知。
for、keep_firing_for 与 No Data 各管不同问题
for 过滤短暂触发,keep_firing_for 缓冲短暂恢复,No Data 则需要独立定义语义。
Alerting Rule 的状态变化可以这样理解:
- 表达式不满足时,告警处于 Inactive;
- 表达式持续满足但尚未达到
for时长时,告警处于 Pending; - 持续满足
for后,告警进入 Firing; - 配置
keep_firing_for后,条件短暂恢复时仍可维持一段 Firing,减少抖动造成的反复开关。
for 不能修复错误阈值,也不能替代长短窗口。keep_firing_for 也不表示故障仍然存在;通知和 Runbook 必须说明,它只是状态保持策略。
No Data 更不能统一当成零。目标消失、Label 改名、采集失败、规则选择器失效和服务确实没有流量,都可能得到空向量。每条规则至少要回答:
- 无流量是正常业务低谷,还是入口已经断开;
- 时序消失需要由
absent()、Target Down 还是外部探测发现; - 服务刚发布时,长窗口尚未积累足够数据应怎样处理;
- Recording Rule 自己停止产出时,谁来告警。
不要在每条业务表达式里机械地把空值补成零。对错误率来说,补零可能把采集失明伪装成健康;更稳妥的做法是把“服务健康”和“观测链完整”拆成两类规则。
Alertmanager 负责通知治理,不负责判断故障
Alertmanager 接收已经 Firing 的告警实例,再决定哪些实例合并、静默、抑制和送往哪个接收器。
四个最容易混淆的能力是:
| 能力 | 解决的问题 | 主要风险 |
|---|---|---|
| Group | 同一故障的多个实例合成一条通知 | 分组键过细,仍按 Pod 刷屏 |
| Inhibit | 上游严重告警出现时,压制关联的下游噪声 | 规则过宽,隐藏独立并发故障 |
| Silence | 计划维护或已知问题期间临时不通知 | 没有原因和过期时间,永久掩盖问题 |
| Route | 按 Label 选择接收器、分组参数和重复间隔 | 漏标后落错组或无人接收 |
下面是脱敏的 Alertmanager 教学配置。所有时间参数都需要按响应目标和渠道成本校准:
route:
receiver: platform-catchall
group_by: [alertname, service, environment]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- receiver: deadman-external
matchers:
- alertname="Watchdog"
group_wait: 0s
repeat_interval: 5m
- receiver: oncall
matchers:
- severity="page"
repeat_interval: 30m
- receiver: team-chat
matchers:
- severity="warning"抑制规则单独表达“上游症状成立时,哪些下游噪声可以暂时不通知”:
inhibit_rules:
- source_matchers:
- alertname="ExampleAPIErrorBudgetFastBurn"
- severity="page"
target_matchers:
- alertname=~"ExampleAPICPUHigh|ExampleAPIRestarts"
- severity="warning"
equal: [service, environment]Receiver 只保存通知方式;Webhook、Slack Token 等凭据通过 Secret 文件或密钥系统注入:
receivers:
- name: platform-catchall
slack_configs:
- api_url_file: /etc/alertmanager/secrets/slack-webhook/url
channel: "#example-alerts-review"
send_resolved: true
- name: team-chat
slack_configs:
- api_url_file: /etc/alertmanager/secrets/slack-webhook/url
channel: "#example-alerts"
send_resolved: true
- name: oncall
webhook_configs:
- url: "https://notify.example.invalid/v1/alerts"
send_resolved: true
- name: deadman-external
webhook_configs:
- url: "https://deadman.example.invalid/v1/heartbeat"路由树默认在匹配第一个子 Route 后停止继续匹配,除非显式使用 continue: true。因此要让 Watchdog 走独立外部路径,应把它放在可能同时匹配的通用 Route 之前。
根 Route 不建议指向一个悄悄丢弃消息的空接收器。兜底接收器可以暴露缺少 severity 或 team 的规则,再由团队修正标签合同。生产与非生产环境也应明确分路由;开发环境默认不应叫醒生产值班人员。
Silence 是 Alertmanager 的运行时对象,不是把某条告警从规则仓库里删掉。每个 Silence 都应记录创建者、原因、工单或变更、开始时间和过期时间。计划维护结束后,让 Silence 自动过期,而不是靠某个人记得回来解除。
通知和 Runbook 要把下一步动作送到人面前
通知负责提供最短上下文,Runbook 负责给出安全的第一轮处置,而不是写一部原因百科。
一条 Page 通知至少应包含:
- 告警状态:Firing 还是 Resolved;
- 服务、环境、SLO 和严重级别;
- 当前值、阈值、持续时间和触发窗口;
- 用户可能受到的影响;
- Dashboard、Logs、Trace 和最近发布入口;
- Runbook 与临时 Silence 入口;
- 明确的 Owner 与升级路径。
Slack Receiver 的 send_resolved 默认值是 false,需要显式设为 true 才会发送恢复消息;其他 Receiver 的默认值可能不同,生产配置仍建议写明。恢复通知不等于事故结束:如果 keep_firing_for 仍在保持状态,或者 SLO 长窗口仍然偏高,值班人员还要按 Runbook 验证用户症状和关键路径。
每条 Page 告警的 Runbook 可以统一成八个问题:
- 怎样确认告警仍然有效;
- 怎样确认真实用户影响;
- 第一张 Dashboard 看什么;
- 如何区分入口、应用、Kubernetes 与依赖;
- 哪些止损动作可以安全执行;
- 哪些操作需要审批或双人确认;
- 怎样验证恢复并观察回归;
- 何时升级给其他团队。
“联系开发处理”不是 Runbook。它既没有第一步证据,也没有安全边界。命令、链接、Owner 和权限发生变化后,Runbook 也要跟着代码评审和定期演练。
promtool 把规则测试提前到合并之前
语法检查只能发现文件能否解析,单元测试才能证明规则在边界数据下怎样触发。
常见的本地与 CI 校验包括:
promtool check rules api-slo.rules.yml
promtool test rules api-slo.test.yml
amtool check-config alertmanager.ymlpromtool check rules 接收 Prometheus 原生的 groups: 规则文件,不直接识别 Kubernetes 的 PrometheusRule 外壳。使用 CRD 交付时,可以在 CI 中渲染 Manifest,再把 .spec.groups 提取成原生规则文件进行检查;测试对象必须和最终发布内容来自同一份源配置。
下面的测试使用合成 Counter,让 2xx 每分钟增加 98.5、5xx 每分钟增加 1.5。总请求每分钟增加 100,错误比例为 1.5%,在 0.1% 错误预算下对应 Burn Rate 15:
rule_files:
- api-slo.rules.yml
evaluation_interval: 1m
group_eval_order:
- example-api-sli-recording
- example-api-slo-alerts
tests:
- name: fast burn becomes firing after for duration
interval: 1m
input_series:
- series: 'http_server_requests_total{service="example-api",environment="production",status_class="2xx"}'
values: "0+98.5x6"
- series: 'http_server_requests_total{service="example-api",environment="production",status_class="5xx"}'
values: "0+1.5x6"
alert_rule_test:
- eval_time: 1m
alertname: ExampleAPIErrorBudgetFastBurn
exp_alerts: []
- eval_time: 3m
alertname: ExampleAPIErrorBudgetFastBurn
exp_alerts:
- exp_labels:
service: example-api
environment: production
severity: page
team: service-team
slo: availability-99.9这只是最小用例。完整测试至少还要覆盖:
- 长窗口超阈值、短窗口已恢复时不触发;
- 恰好位于阈值边界时采用
>还是>=; - 错误时序从未出现时,Recording Rule 仍产出零;
- 总请求时序消失时,不被误判为健康;
for期间短暂恢复后是否重新计时;keep_firing_for期间的 Firing 与最终 Resolved;- Label、Annotation 与 Alertmanager Route 使用的合同一致。
单元测试通过后,还要在预发布环境验证 Prometheus 已加载规则、Alertmanager 路由命中正确 Receiver、Firing 与 Resolved 都能到达。不要通过临时降低真实生产阈值制造测试告警;使用独立合成规则或受控测试环境更安全。
Watchdog 用外部观察者检查告警链
Watchdog 应持续 Firing,再由监控系统之外的接收器检查心跳是否按时到达。
普通告警只能证明“条件满足时系统曾经发出过消息”。如果 Prometheus、Alertmanager、网络或通知集成整体失效,内部系统可能连“我坏了”都发不出来。
一个最小 Watchdog 规则可以保持恒真:
- alert: Watchdog
expr: vector(1)
labels:
severity: none
team: platform
annotations:
summary: "告警链心跳"Alertmanager 为它配置独立 Route,并按固定 repeat_interval 把通知发送到外部 Dead-man 服务。外部服务维护最后到达时间;超过约定期限没有新心跳时,由外部系统通过独立渠道通知。
Watchdog 能覆盖的范围取决于接收点:
| 外部接收点 | 能证明的链路 | 仍不能证明 |
|---|---|---|
| Alertmanager 外部 Webhook | Prometheus 评估、发送到 Alertmanager、路由与 Webhook 出站 | Slack 或值班平台是否可用 |
| 值班平台 Heartbeat | 前述链路和值班平台接收 | 人是否及时认领 |
| 独立合成演练 | 指定通知渠道和响应流程 | 下一次故障一定成功 |
因此还要监控 Rule Evaluation Error、Prometheus 到 Alertmanager 的发送失败、Alertmanager Notification Failure、队列和集群状态。Watchdog 不应被普通 Inhibit 规则或长期 Silence 吞掉;外部检查也不能和被检查的 Prometheus、Alertmanager 部署在同一故障域。
一次发布后的告警怎样跑完整条链
完整演练要同时证明规则触发、通知降噪、人员止损和恢复验证,而不是只看频道里出现一条消息。
【示例场景·合成数据】
某次发布后,example-api的 5xx 在两分钟内持续升高。数值和时间均为教学构造。
- 5 分钟 Burn Rate 先升高,1 小时窗口随后也超过教学阈值;
- 两个窗口同时满足后,告警进入 Pending;
- 持续达到
for时长后,告警转为 Firing; - Alertmanager 把同一服务的多个实例合并,并抑制相关 CPU 与重启 Warning;
- Page 通知携带用户影响、Dashboard、最近发布和 Runbook;
- 值班人员确认错误集中在新版本,按授权流程回滚;
- 短窗口恢复后,
keep_firing_for避免一分钟抖动造成反复开关; - 最终 Resolved 到达,值班人员继续验证外部请求和错误预算趋势;
- 复盘补上发布前缺失的依赖失败用例,并调整规则测试。
这条链既比“任意 5xx 大于零就发消息”稳定,也比只看长窗口平均值更及时。真正需要验收的是每一步的证据和责任,而不是某一条 PromQL 看起来足够复杂。
常见失败发生在规则与路由的接缝处
告警工程最常见的问题不是语法错误,而是相邻环节对标签、状态和责任的理解不一致。
| 现象 | 常见原因 | 修正方向 |
|---|---|---|
| PrometheusRule 已部署但 Rules 页面没有 | ruleSelector 或 Namespace 选择不匹配 | 验证 CRD、Selector 与 /api/v1/rules |
| 从未发生错误时 Burn Rate 没有序列 | 错误分子为空向量 | 用总请求序列补零,并单测 |
| 一个 Pod 一条通知 | pod、instance 进入主分组键 | 按 alertname + service + environment 分组 |
| Page 落入默认频道 | 缺少或拼错 severity、team | 为必需 Label 做静态检查与兜底审计 |
| 上游故障时下游仍刷屏 | 没有 Inhibit,或 equal 标签不一致 | 用窄匹配测试抑制关系 |
| 维护结束后仍无通知 | Silence 没有过期,或被重复创建 | 强制 Owner、原因和有效期 |
| 规则恢复但没有恢复消息 | Receiver 未开启 send_resolved | 对每条通知路径测试 Firing 与 Resolved |
| 监控停摆却无人知道 | Watchdog 仍在系统内部自证 | 增加外部 Dead-man 与独立通知 |
| 同一故障收到两套状态 | Prometheus 与 Grafana 重复评估 | 明确唯一规则所有者 |
| Runbook 只有“联系开发” | 没有第一步证据与安全动作 | 补确认、止损、验证和升级边界 |
小结
告警工程的交付物不是一组阈值,而是一条可计算、可路由、可测试、可演练的响应链。
- 先定义 SLI 的好事件、有效事件与统计窗口,再写 SLO;
- Burn Rate 用预算消耗速度统一严重度,多窗口同时兼顾稳定与及时;
- Recording Rule 固化语义,PrometheusRule 负责在 Operator 环境中交付;
for、keep_firing_for和 No Data 分别处理持续触发、短暂恢复与数据缺失;- Alertmanager 用 Group、Inhibit、Silence 与 Route 控制通知,不执行 PromQL;
- 每条 Page 都需要 Owner、可达通知、Runbook、恢复验证和规则测试;
- Watchdog 必须由外部观察者接收,监控系统不能只靠自己证明自己正常。
落地前按版本核对
以下行为依赖目标环境的组件版本、Operator 配置或发行版,发布前必须逐项确认。
- 确认目标 Prometheus 版本是否支持
keep_firing_for,以及当前 Prometheus Operator CRD、校验工具和发布模板是否完整保留该字段。 - 核对 Prometheus 的
ruleSelector、ruleNamespaceSelector,以及 AlertmanagerConfig 的 Selector、Namespace 与 Route 合并策略;不同 Operator 版本和平台封装可能有差异。 - 检查当前监控发行版是否已经提供 Watchdog 或同类恒真规则、它的实际
alertname是什么,以及现有 Inhibit、Silence 和 Route 是否会吞掉该心跳。 - 验证外部 Dead-man 服务的超时窗口、重试语义和独立通知渠道;它必须大于 Alertmanager 重复发送间隔与合理抖动,但不能与主监控链共享同一故障域。
公开参考
下列公开资料用于核对 SLO 告警、Prometheus 规则、Alertmanager 配置、Operator CRD 与规则测试。