写给后端同学的监控告警策略:四个黄金信号、降噪与最小告警集

写给后端同学的监控告警策略:四个黄金信号、降噪与最小告警集

Hello,我是小兔大白糖。 想象一个很常见的故障现场:用户已经连续收到 500,但告警频道先刷出 CPU 高、Pod 重启、缓存命中率下降,真正说明「API 正在失败」的消息反而埋在下面。

问题通常不在于指标太少,而在于我们把「能采集」误当成了「该告警」。

这篇写给初中级后端同学。读完你应该能从四个黄金信号出发,设计一套少而准的最小告警集,并知道哪些阈值只能当教学起点、哪些信号根本不能单独下结论。

估计阅读时间:18 分钟


目录


先搭模型:监控像体检,告警像急诊分诊

监控负责持续测量,告警只负责把需要人处理的异常挑出来。

可以把一套观测系统想成医院:

  • 指标、日志和链路是体温、血压与检查报告;
  • Dashboard(看板)是医生查看完整数据的工作台;
  • Alert(告警)是急诊分诊,只把必须尽快处理的问题送到人面前;
  • Runbook(操作手册)是收到告警后的第一套处置步骤。

这个类比只解释「为什么不能所有异常都通知」。真实分布式系统还要处理采样、时间窗口、缺失数据、标签基数和多数据源一致性,这些都不能靠类比替代。

一条常见的数据流如下。具体组件可以替换,关键是分清采集、存储、查询和通知:

监控告警系统的数据流
监控告警系统的数据流 · 点击查看 SVG 原图

这里有两个容易画错的地方。

第一,Tempo metrics-generator 是在 trace ingestion(链路写入)过程中处理 span 并派生指标,不是把已经存储的历史 trace 重新回放一遍。单体部署与微服务部署的具体数据路径不同,也会随 Tempo 版本演进。

第二,Alloy 或 Tempo 能发 Prometheus remote write,不代表任意 Prometheus 默认都能收。接收端必须明确支持并启用 remote-write receiver;Prometheus 需要显式启用 --web.enable-remote-write-receiver。Mimir、Grafana Cloud Metrics 等后端也各有自己的接收地址与配置。

如果 trace 在进入 Tempo 前已被采样,metrics-generator 派生的请求量、错误率和延迟也只代表被保留的 span。它不能天然替代覆盖全流量的应用指标或入口指标。


精确定义:什么值得叫醒人

一个指标异常,不等于一条告警成立。

先把三个概念分开:

概念回答的问题默认去向
指标 Metric系统现在是多少、趋势如何看板、查询、容量分析
告警 Alert是否出现需要人采取动作的异常Alertmanager、Atlas 或云告警系统
通知 Notification告警要送给谁、通过什么渠道送达Slack、值班系统或其他接收器

适合发通知的告警,至少满足三个条件:

  1. 有明确影响:用户失败、核心能力不可用、数据风险,或容量即将耗尽。
  2. 有具体动作:收到后知道先看什么、谁来处理、怎样确认恢复。
  3. 信号足够可信:有持续时间、最小流量保护和正确的缺失数据策略。

反过来,goroutine 数、普通 CPU 波动、缓存命中率、日志条数等信号,如果没有稳定基线和明确动作,通常先放看板,不要直接发 Slack。

症状优先,原因随后

先告诉人「用户怎么了」,再告诉人「系统哪里可能有问题」。

层级示例通知建议
用户症状外部探测失败、5xx 比例高、请求明显变慢作为主告警
明确故障服务零可用副本、分区离线、数据库无可用主节点作为主告警
潜在原因CPU 高、单个 Pod 重启、单个目标不健康多数先 warning
排障信号GC、goroutine、普通 IOPS、缓存命中率默认只进看板

如果 API 仍然稳定,单个 Pod CPU 高不该和「API 大面积失败」同时发 critical。否则一次故障会拆成十几条消息,接手的人反而更难判断影响。


从四个黄金信号开始

在线服务的第一版监控,先覆盖流量、错误、延迟和饱和度。

黄金信号它回答什么后端常见观察项
Traffic(流量)有多少请求进入系统RPS、QPS、并发数
Errors(错误)有多少请求失败5xx 比例、业务失败比例
Latency(延迟)用户等待了多久p50、p95、p99;成功与失败分开
Saturation(饱和度)系统离上限还有多远内存、连接池、队列、磁盘、CPU throttling

p99 表示观测窗口内约 99% 的请求延迟不高于这个分位值。低流量时,p99 很容易被少量样本放大,所以延迟告警也需要最小样本量保护。

最小流量保护不是可选项

比率告警必须先确认分母足够大。

假设 10 分钟只有 1 个请求,且它刚好失败,那么错误率就是 100%。数学没错,但这未必值得发 critical。

更可靠的条件是:

错误率超过阈值
AND
观察窗口内总请求数达到最小样本量
AND
条件持续一段时间

延迟分位值同理。对于低流量 API,外部探测、绝对失败数或更长窗口,往往比分位值更稳定。

所有固定数字都只是教学起点

下面的数字不是行业标准,也不能直接复制到生产环境。

场景教学起点示例使用前必须校准什么
普通抖动过滤for 约 5 分钟采集周期、发布抖动、故障容忍时间
API 5xx10 分钟内超过 10%,且至少 100 个请求正常错误率、流量、SLO、业务峰谷
API 延迟成功请求 p99 超过 5 秒并持续 15 分钟路由类型、样本量、用户可接受延迟
容量预警80% warning、90% critical扩容耗时、增长速度、资源真实上限
初次校准观察约 1~2 周工作日、周末、发布窗口与季节性

这些值只能帮助你启动讨论。for >= 5m、5xx 10%/10m、p99 5s、80%/90% 和 1~2 周观察期都不是标准答案。明确的二元故障可以更快触发;缓慢增长的容量风险则更适合预测「多久会耗尽」。

服务成熟后,核心 API 应逐步从固定阈值升级为 SLO(服务水平目标)和多窗口 error-budget burn-rate(错误预算消耗速度)告警。


把告警写成一张可执行工单

一条好告警应该让接手的人在一分钟内知道影响、负责人和第一步动作。

建议至少携带:

  • service:哪个服务;
  • environment:哪个环境;
  • severity:critical 还是 warning;
  • team 或 owner:服务团队还是平台团队;
  • 当前值、触发条件和持续时间;
  • 用户可能受到的影响;
  • 看板链接与 runbook_url;
  • 建议的第一步检查。

一个脱敏的教学片段可以长这样:

labels:
  severity: warning
  service: backend-api
  environment: production
  team: service-team
annotations:
  summary: "Backend API 5xx rate is high"
  impact: "Users may receive failed API responses"
  description: "Include the current value, threshold, sample size, and duration"
  dashboard_url: "https://monitoring.example.com/d/example"
  runbook_url: "https://docs.example.com/runbooks/api-errors"
  first_action: "Check user-visible error rate and recent deployments"

示例中的域名、服务名和字段值均为教学占位。阈值不要藏在模糊句子里,更不要只写一句「服务异常,请检查」。

收到告警后的最短处理流程是:

  1. 确认影响:告警是否仍在 firing,用户是否真的受影响。
  2. 明确认领:由服务团队或平台团队中的一方接手。
  3. 先止损:回滚、扩容、隔离或降级,优先恢复用户能力。
  4. 再定位:从症状看板进入依赖、Pod、trace 和日志。
  5. 验证恢复:确认用户症状恢复,告警 resolved,并继续观察。
  6. 补齐系统:记录误报、漏报和缺失的 Runbook。

分级、降噪与 Slack-only 边界

分级的目的不是给告警贴颜色,而是决定什么时候需要人行动。

级别适用情况预期动作
critical明显用户影响、核心能力完全不可用、数据安全风险尽快确认并止损
warning局部降级、单实例故障、容量逼近、可能继续恶化在约定时间内处理
dashboard-only趋势、容量分析和根因定位排障或规划时查看

一个故障只保留一个主告警

同一用户故障,优先由最高层的症状告警负责通知。

常见降噪方法包括:

  • 按 alertname + environment + service 分组,避免每个 Pod 发一条;
  • API 已出现 critical 时,抑制相关 CPU、Pod 重启等原因类 warning;
  • 发布或扩容期间允许短暂的单目标不健康,但不要屏蔽真正的零可用副本;
  • 临时 silence(静默)必须有原因和过期时间;
  • warning 的重复通知间隔可以比 critical 更长。

Alertmanager 根路由指向空 receiver,是一种「默认不通知,只有明确分级才进 Slack」的可选降噪策略,不是普适最佳实践。它的风险也很直接:如果规则漏了 severity 等路由标签,告警可能被静默丢弃。采用这种策略时,必须测试未匹配告警、配置校验和兜底审计。

恢复通知要显式开启

Alertmanager 的 Slack resolved 通知不会因为你配置了 Slack 就自动开启。

如果希望恢复时收到消息,需要在对应 slack_configs 中显式设置:

receivers:
  - name: slack-alerts
    slack_configs:
      - channel: "#example-alerts"
        send_resolved: true
        api_url_file: /path/to/managed/slack-webhook

这是脱敏的配置片段。Webhook 应由密钥管理系统提供,不要明文提交到仓库。

Slack-only 不是 24×7 paging

Slack 能送消息,但通常不提供可靠的认领、自动升级和电话唤醒。

因此,Slack-only 方案必须明确写出边界:

  • critical 不保证在非工作时段立即被确认;
  • 维护或高风险发布窗口需要事先安排观察通知的人;
  • 如果业务要求全天候响应,应增加带确认与升级机制的值班系统;
  • Slack 消息送达只证明「这一次通知到了」,不证明整条链路未来一直可用。

一套够用的最小告警集

第一版不要追求覆盖所有指标,先覆盖用户故障、数据风险和容量耗尽。

下表中的固定时间和百分比仍然只是教学起点。每一项都要按实际流量、规格、恢复目标和可用指标裁剪。

应用与 Go 后端

要发现的问题建议信号级别
公网无法访问核心 API集群与私网之外的外部探测,覆盖 DNS、TLS、入口和应用critical
API 5xx 明显升高全流量 HTTP counter 或可靠入口指标;加最小请求量保护critical
API 明显变慢成功请求延迟分位值;加最小样本量保护warning
预期流量消失只在业务流量模式稳定后启用,并区分时段warning
连接池或文件描述符接近上限当前使用量与真实上限warning

Go runtime 指标更适合解释原因,而不是直接定 critical:

  • go.memory.limit 表示 Go runtime 的内存限制,也就是 GOMEMLIMIT 语义,不是容器 memory limit;
  • go.memory.allocated 是累计堆分配量的 Counter,不是当前内存占用;
  • 当前 Go runtime 使用量可参考 go.memory.used,但它仍不等于容器整体 RSS 或 working set;
  • 容器 RSS、working set 与容器 limit,应查看 kubelet、cAdvisor 和 Kubernetes 资源规格一类信号;
  • goroutine、GC pause、GC CPU 和 allocation rate 默认先放看板。

这些指标是否存在、最终名称是什么,还取决于 OpenTelemetry 语义约定与 instrumentation 版本。先查询实际暴露的序列,再写规则。

Kubernetes

要发现的问题建议信号级别
服务零可用副本desired 大于 0 且 available 为 0critical
Deployment 或 StatefulSet 副本不足、发布卡住desired 与 ready / available 长时间不一致warning
容器反复 CrashLoopwaiting reason 与重启增长warning;影响可用性时由症状告警升级
最近发生 OOMKill最近终止原因与同窗口 restart counter 增量组合warning
Pod 长期 Pending 或无法调度Pending 持续时间与调度原因warning
Node NotReady 或 DiskPressure节点状态,并结合剩余冗余容量warning / critical
PVC 即将写满kubelet_volume_stats_* 容量、可用空间或增长趋势warning / critical
HPA 到最大副本仍有压力maxed out,并同时看到延迟、错误或资源压力warning

PVC 容量数据来自 kubelet 暴露的 volume stats。CSI 驱动、卷类型和挂载状态不同,kubelet_volume_stats_* 可能缺失;启用规则前先确认目标卷真的有数据。

kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} 表示「最后一次终止原因」,这个静态状态可能持续存在。判断「最近发生」时,还要结合观察窗口内的 kube_pod_container_status_restarts_total 增量、事件或其他时序证据,不能只看 last terminated reason。

MongoDB Atlas

要发现的问题建议信号
集群或主节点不可用Atlas 可用性 / replica set 类告警
复制追赶风险replication lag、oplog window 或平台提供的对应信号
连接逼近上限当前连接与部署层级的连接限制
存储逼近上限使用量、增长速度和自动扩容边界
备份不满足恢复目标Atlas 备份状态与恢复能力
持续资源饱和CPU、磁盘延迟、队列等可用指标,并与查询或 API 延迟关联

Atlas 告警必须按部署层级裁剪。Dedicated、Flex 和其他层级支持的指标与告警条件不同;例如 Flex 的监控与告警集合明显更少。不要先写一份「通用 Atlas 告警清单」,再假设每个层级都能提供 CPU、磁盘队列、复制或备份信号。

Redis / Valkey 与 ElastiCache

要发现的问题建议信号
主节点不可用或 failover 异常服务事件、节点状态,必要时加主动读写探测
副本不同步replication link / lag
引擎内存逼近 maxmemoryDatabaseMemoryUsagePercentage 与写入、驱逐情况
key eviction 影响业务eviction 速率,并按缓存、session、锁或队列用途定级
连接接近上限CurrConnections 与节点容量、客户端池配置
CPU 或命令延迟异常按节点 vCPU 规格选择 EngineCPUUtilization、主机 CPU 和延迟信号

DatabaseMemoryUsagePercentage 是 Redis / Valkey 的 used_memory / maxmemory,不等于宿主机总内存使用率。小规格与大规格节点的 CPU 解读也不同;连接上限不能只看一个固定百分比。Failover 是否成功应结合 ElastiCache 服务事件、节点状态和必要的主动探测,而不是只凭单个资源指标猜测。

Aurora / RDS 与 ALB

要发现的问题建议信号
ALB 判定零健康目标HealthyHostCount、missing-data 策略与外部探测
部分 Target 不健康UnHealthyHostCount,过滤预期发布抖动
ALB 或后端 5xx区分 HTTPCode_ELB_5XX_Count 与 Target 5xx 比例;后者加最小流量保护
数据库不可用或 failover 失败RDS 服务事件、状态检查与应用连接探测
数据库容量逼近连接数、内存、存储 / 临时空间与增长趋势
Aurora reader 复制延迟AuroraReplicaLag 等适用指标
备份不满足 RPO备份事件、状态检查,以及 API 返回的可恢复时间

LatestRestorableTime 是 RDS / Aurora API 返回字段,不是普通 CloudWatch metric。备份失败、数据库故障与 failover 结果,应结合 RDS 服务事件、资源状态和主动检查。不要把「transaction ID」泛写成通用数据库风险指标;应选择与实际引擎和故障模式对应的 deadlock、连接、复制、存储或事务年龄信号。

HealthyHostCount = 0 只表示 ALB 判定零健康 Target,不保证 ALB 绝对不再转发:当注册目标全部不健康时,ALB 可能 fail open,把请求发给这些不健康目标。如果根本没有注册 Target,HealthyHostCount 还可能没有数据。规则必须明确 missing-data 行为,并由外部探测兜住 DNS、TLS、WAF、路由和真实响应。

Kafka:先分清 JMX 与 Amazon MSK

通用 Kafka / JMX 指标名与 Amazon MSK CloudWatch 指标名不是一套统一命名。

来源适合关注的信号注意
通用 Kafka / JMX exporter离线分区、ISR、副本同步、控制器、请求处理、磁盘、consumer lag最终名称取决于 Kafka 版本、MBean 与 exporter 映射
Amazon MSK CloudWatchOfflinePartitionsCount、UnderMinIsrPartitionCount、UnderReplicatedPartitions、磁盘与 broker 指标可用性取决于集群类型、监控级别和维度

Consumer lag(消费积压)不应统一写死为「超过多少条」。同样的 10 万条消息,可能是几秒,也可能是几小时工作量。更有行动价值的做法,是根据近期处理速率换算预计业务延迟,再和订单、通知或同步任务的时限比较。

Lag 指标还可能缺失。以 Amazon MSK 为例,consumer group 状态、命名和是否提交 offset 都会影响 CloudWatch 是否发出 lag 指标。No Data 不能简单当成「没有积压」,需要单独定义缺失数据策略。

监控系统自身

至少监控:

  • Prometheus scrape target 大面积失败;
  • 规则计算失败;
  • Alertmanager 通知失败;
  • Prometheus、Loki、Tempo 等存储容量;
  • 外部 heartbeat / dead-man 是否按时到达。

同一套监控系统无法完整证明自己正常。固定周期测试规则只能覆盖它实际经过的部分链路;如果 Prometheus、Alertmanager、Slack 或它们之间的链路有一环整体失明,内部规则可能根本发不出来。要验证端到端通知能力,需要外部 heartbeat、dead-man 服务或第二观察者。


最容易写错的技术细节

监控文档最危险的错误,是把「有这个指标」写成「这个指标能证明这件事」。

1. 把 trace 派生指标当全流量指标

采样 trace 只能代表样本。要做用户错误率和延迟主告警,优先使用全流量应用指标、入口指标或独立探测。

2. 把 for 当行业标准

for 约 5 分钟只是教学起点。告警应该多快触发,取决于采集周期、噪声、故障损失和恢复速度。

3. 把 CPU / request 当通用容量上限

Kubernetes CPU request 是调度预留,不是硬上限。服务是否饱和,还要看 CPU limit 与 throttling、延迟、HPA、队列和下游能力。

4. 把 No Data 当健康

没有注册 ALB Target、PVC 不支持 volume stats、MSK consumer lag 未发出,都可能表现为无数据。每条规则都要回答:No Data 是正常、异常,还是需要另一条告警?

5. 为每个原因都发通知

一次 API 故障同时触发 5xx、Pod 重启、CPU 高和缓存异常时,应由用户症状做主告警,其他信号留在告警详情和看板里。

6. 让告警标签无限增长

不要把 user ID、订单 ID、完整 URL 或其他高基数值放进 Prometheus label。它们更适合日志和 trace。

7. 以为测试告警能证明一切

内部测试规则能证明部分评估与通知路径,但不能让同一系统完整自证。外部观察者才是兜底。


六步实施,不复制百行清单

从一小套可验证的规则开始,比一次配置几百条规则更可靠。

第一步:列出关键用户路径

先写清楚用户真正依赖什么:登录、下单、查询、异步通知,还是数据同步。每条路径只选一个主要症状信号。

第二步:确认信号真实可用

检查 HTTP 指标是否覆盖全流量,状态码和 route 标签是否存在且基数可控;确认 Kubernetes、Atlas、AWS 和 Kafka 的指标确实由当前部署层级提供。

第三步:启用最小告警集

优先启用外部可用性、错误率、延迟、零可用副本、数据风险和容量耗尽。平台默认规则已经覆盖的,不要重复创建同类规则。

第四步:补齐负责人和第一步动作

每条通知型告警都要有 owner、看板、Runbook 和第一步检查。教学例子可以用「服务团队 / 平台团队」,真实系统则要映射到明确的维护者。

第五步:逐条测试通知路径

分别测试 Alertmanager、Atlas 和云告警实际使用的路径。Alertmanager 需要验证 firing 与 resolved;事件型通知则验证事件是否送达。不要通过临时降低真实故障阈值来做测试。

第六步:按数据校准

上线后观察一段能覆盖主要流量周期的时间,再记录误报、漏报、太早和太晚。前文的 1~2 周只是教学起点,不是固定等待期。最终阈值应由 SLO、用户影响、基线和处置速度共同决定。


告警规则质量清单

每条准备发给人的规则,都应该过一遍这份短清单。

  • 描述的是用户症状、明确故障、数据风险或即将耗尽的容量。
  • 触发后有人能采取具体动作。
  • 比率告警有最小请求量,分位值告警有最小样本量。
  • 持续时间与业务影响匹配,示例阈值已经按真实数据校准。
  • 明确处理 No Data,而不是默认把缺失当健康。
  • 没有 user ID、订单 ID 等高基数 label。
  • 同一故障只有一个主通知,原因类规则已降级或抑制。
  • 有服务、环境、严重级别、负责人、看板、Runbook 和第一步动作。
  • Slack resolved 已按需要显式配置 send_resolved: true。
  • firing、resolved、静默过期和通知失败都实际测试过。
  • 有外部 heartbeat / dead-man 或第二观察者检查监控链路。

小结

  • 从 Traffic、Errors、Latency、Saturation 四个黄金信号开始,不要从「所有能采集的指标」开始。
  • 症状优先于原因:用户错误率是主告警,CPU、GC 和 Pod 重启更多用于定位。
  • 比率和分位值必须有最小流量 / 样本量保护;固定阈值全部只是教学起点。
  • 告警要可行动、可分级、可降噪;一个故障只保留一个主通知。
  • Slack-only 不等于 24×7 paging;同一监控系统也不能完整自证,必须考虑外部观察者。
  • 云服务和托管平台的指标要按产品、部署层级与版本裁剪,不能把名字相近的指标当成同一语义。

你可以从一个很小的动作开始:打开当前最核心 API 的看板,检查它是否同时回答了「有多少流量、多少错误、延迟多高、离上限多远」。如果四个问题里有一个答不上来,就先补信号,再谈阈值。


官方参考