业务 Counter 不是账本:实时告警与数据库对账怎么分工

Hello,我是小兔大白糖。 Dashboard 显示任务完成量突然下降,数据库里的记录数却还在增加。到底该信 Prometheus Counter,还是重新跑一条 SQL?
答案不是二选一。业务 Counter 负责尽快发现变化,数据库、事件账本和数仓负责还原最终事实。 两边数字短时间不一致,未必是谁错了;它们可能本来就在统计不同状态、不同时间窗口。
这篇写给已经在维护 Prometheus、业务数据库或异步任务链路的中高级后端、SRE 和 DevOps 工程师。我们重点解决六个问题:状态转换在哪里计数、怎样控制标签基数、Counter 为什么不能对账、异步完成率为什么会失真、什么 SQL 可以做 Probe,以及三层业务观测怎样协作。
【示例场景·合成数据】
文中的任务、服务、故障、指标名和数值均为教学示例,不对应任何组织、产品或真实事件。
估计阅读时间:15 分钟
目录
- 先给结论:两条路径回答不同问题
- 状态转换在哪里发生,就在哪里计数
- 只把有限枚举放进 Label
- Counter 是健康信号,不是业务账本
- 异步完成率不能硬除同一个窗口
- 数据库与数仓负责可重算的事实
- SQL Probe 只做便宜、受控的健康检查
- 三层业务观测各司其职
- 一次完整排查怎样串起三层
- 上线前给指标补一份语义合同
- 小结
先给结论:两条路径回答不同问题
业务指标回答“现在是否异常”,数据库或数仓回答“最终发生了什么”。
同一句“成功创建了多少任务”,至少可能有两种含义:
- 值班同学问的是:最近 5 分钟创建速率是否归零,拒绝原因是否突增;
- 运营或财务问的是:昨天最终有多少有效任务,哪些需要结算或补偿。
前者需要秒到分钟级反馈,允许围绕趋势和窗口做近似判断。后者要求记录可追溯、规则可重算,还要处理撤销、软删除、状态回写和时区。
| 维度 | 应用内 Counter | 数据库、事件账本或数仓 |
|---|---|---|
| 主要目标 | 实时健康、趋势、告警 | 对账、审计、报表、补偿 |
| 常见延迟 | 秒到分钟 | 分钟到天,取决于链路 |
| 历史重算 | 不擅长 | 可以按新规则重算 |
| 查询维度 | 少量低基数枚举 | 高维分析与单条追踪 |
| 进程重启影响 | 需要由查询处理 reset | 由持久化模型决定 |
| 精确账单 | 不适合 | 适合 |
【经验建议】
先给每个问题指定事实来源,再决定采集方式。不要因为 Grafana 查询方便,就把经营口径塞进 Prometheus;也不要因为数据库数字精确,就让告警每 15 秒扫描一次业务表。
状态转换在哪里发生,就在哪里计数
Counter 的触发位置就是它的业务语义;attempted、created、dispatched 和 completed 不能都叫 success。
以异步任务为例,一次请求可能依次经过这些状态:
- API 收到请求,记录
attempted; - 校验通过并提交数据库事务,记录
created; - 消息代理确认接收事件,记录
dispatched; - Worker 取得任务,记录
started; - Worker 提交最终结果,记录
completed或failed。
这些计数不能互相替代。HTTP 返回 202,只能证明 API 接受了请求;消息发布成功,也不能证明 Worker 最终完成了任务。
下面是一个教学用的最小 Counter。phase、outcome 和 reason 都必须来自受控枚举:
var taskEvents = prometheus.NewCounterVec(
prometheus.CounterOpts{
Name: "business_task_events_total",
Help: "Count of task lifecycle phase outcomes.",
},
[]string{"phase", "outcome", "reason"},
)
taskEvents.WithLabelValues(
"create_decision",
"rejected",
"quota_exceeded",
).Inc()计数点还存在一个无法靠命名消除的边界:数据库已经 Commit,但进程在 Inc() 前崩溃,业务记录会存在,Counter 却少一次;反过来,如果先 Inc() 再提交,事务回滚时 Counter 会多一次。
需要可靠传递业务事件时,可以让业务状态和 Transactional Outbox 在同一数据库事务提交,再由 Relay 发布。它缩小了“数据库已写、事件未发”的一致性缺口,但不会把 Prometheus Counter 变成精确账本。
只把有限枚举放进 Label
Prometheus Label 应该用于聚合和筛选,不能用来保存每个实体的身份。
适合做 Label 的值,通常能在评审时列出完整集合:
| 适合 | 不适合 |
|---|---|
phase=create_decision | task_id |
outcome=accepted | user_id |
reason=quota_exceeded | 租户名或客户名 |
channel=email | 完整错误文本 |
priority=normal | 时间戳、URL 原始路径 |
时序数量由标签组合相乘。假设 6 个事件、3 种结果、8 个原因和 3 个环境,理论上已经有 432 种组合;再加入 10 万个任务 ID,规模会立刻失控。
错误文本也不是稳定枚举。依赖库升级、文案调整或参数变化,都可能制造新时序。更稳妥的做法是把失败归一为 validation_failed、quota_exceeded、dependency_timeout、rate_limited 和 internal_error 等有限原因,把原始错误留在日志或 Trace。
Counter 是健康信号,不是业务账本
Counter 能可靠表达一段时间内的变化趋势,却不承诺逐条、不可变、可审计。
即使指标名和计数位置都正确,它仍然有这些边界:
- 进程重启会让 Counter 回到较小值,
rate()和increase()会按 Counter reset 处理; - 抓取间隔内发生并消失的实例,可能留下不完整样本;
- 重试或重复消费可能重复计数,除非业务分支本身具备明确的幂等语义;
- 多个 Counter 的更新没有跨指标事务;
- 指标保留周期、下采样和远端存储策略不等同于审计保留;
- 你无法从聚合时序反查每一条任务及其证据。
因此,“今天 Counter 增加了 1000”适合描述系统行为趋势,不适合直接生成“今天应结算 1000 单”的账单。
判断一个数据源能不能当账本,可以反问四件事:能否定位单条记录,能否解释撤销和补偿,能否按新规则重算,能否证明历史没有被静默改写。Prometheus Counter 通常不满足这些要求。
异步完成率不能硬除同一个窗口
只要任务可能跨窗口完成,同一段时间的 completed / created 就不是那批任务的最终完成率。
假设 10:00~10:05 创建 100 个任务,其中 60 个在本窗口完成,另外 40 个在 10:05 之后完成。同窗口相除得到 60%。可如果 09:55 创建的 30 个任务也在这个窗口完成,分子又会变成 90,得到 90%。
这两个比例都不能回答“10:00~10:05 创建的任务最终完成了多少”。分子和分母来自不同 Cohort,也就是不同创建批次。
实时监控更适合拆成四组信号:
- 创建接受率:同一同步决策窗口里的 accepted / create decisions;
- 处理结果率:在完成事件发生时,看 completed 与 failed 的构成;
- 积压健康:当前未完成数量、队列深度和最老任务年龄;
- 处理时长:从创建到完成的端到端 Histogram。
创建接受率可以使用同窗口 PromQL,因为分子、分母来自同一次同步决策:
(
sum(increase(business_task_events_total{
phase="create_decision", outcome="accepted"
}[5m]))
or on()
0 * sum(increase(business_task_events_total{
phase="create_decision"
}[5m]))
)
/
clamp_min(sum(increase(business_task_events_total{
phase="create_decision"
}[5m])), 1e-9)CounterVec 只有在对应标签组合首次被使用后才产生子时序。如果进程启动后所有请求都被拒绝,accepted 可能从未出现;上面的 or on() 0 * 总决策 会在总决策存在时补出 0%,但在总决策也不存在时保留 No Data。固定且数量很少的标签组合也可以在进程启动时预初始化;无流量和采集缺失仍要用独立规则判断。
最终完成率则应按 Cohort 计算。例如把“某天创建的任务”作为分母,等待约定完成期限后,再在数仓统计其中完成、失败和仍未结束的数量。实时 Dashboard 可以展示“当前已完成比例”,但必须同时标注 Cohort 和数据成熟度。
数据库与数仓负责可重算的事实
需要回溯、对账和重新解释历史时,应查询持久化事实,而不是反推 Counter。
数据库适合回答单条任务当前是什么状态、为什么需要补偿。事件账本适合保留状态变化顺序。数仓适合跨服务、跨时间和高维度聚合。
下面是一条教学 SQL,用 completed_at 统计完成发生的时间,而不是把 created_at 误当完成时间:
SELECT status, count(*)
FROM tasks
WHERE completed_at >= $1
AND completed_at < $2
GROUP BY status;但“查数据库”也不天然等于准确。你仍要定义:
- 时间按创建、接受、完成还是结算发生;
- 时区和窗口边界如何处理;
- 软删除、撤销、补偿和状态回写是否计入;
- 单表当前状态,还是不可变状态事件,才是事实来源;
- 跨库最终一致时,数据成熟到什么程度才出报表。
【示例架构·当前实现】
教学基线把事务数据库用于在线状态,把不可变业务事件或 CDC/ETL 数据送入数仓。实时告警不依赖大范围业务聚合;报表也不从 Prometheus Counter 反推。
SQL Probe 只做便宜、受控的健康检查
数据库监控查询不是绝对禁止,但它只能承担低频、索引友好、失败可隔离的健康探测。
适合的例子包括:
- 查询最老未处理任务的年龄;
- 查询专用小表或预聚合表;
- 在只读副本上验证关键数据是否持续更新;
- 对单个固定状态做有索引支撑的存在性检查。
下面这类 Probe 可以在合适索引支持下返回一个稳定标量:
SELECT EXTRACT(EPOCH FROM (
CURRENT_TIMESTAMP - MIN(created_at)
))
FROM tasks
WHERE status = 'pending';上线前至少要满足这些边界:
- 用
EXPLAIN确认访问路径,并在压测或副本上测最大扫描量; - 使用只读、最小权限账户,优先访问只读副本或汇总表;
- 设置短查询超时,限制并发,避免 Probe 堆积连接;
- 抓取频率与业务时效匹配,不把 15 秒当默认答案;
- 返回固定、低基数的数值和状态,不把查询结果维度直接变成 Label;
- Probe 失败时降级为监控缺失,不让重试风暴拖垮主库。
不适合的做法是每隔十几秒全表 count(*)、按客户分组、扫描长时间范围,或让 Dashboard 的自由筛选直接命中主库。经营分析更适合由 CDC/ETL 进入数仓,再交给 BI 查询。
三层业务观测各司其职
Metrics 发现异常,Logs/Traces 定位上下文,数据库/事件/数仓给出精确事实。
【目标设计】
三层共享稳定的业务语义,但不强求保存同样的数据。Metrics 只保留低基数聚合;Logs/Traces 携带trace_id、任务 ID 和错误上下文;持久化层保存可查询、可回放或可审计的事实。
| 层 | 主要问题 | 典型数据 | 不该承担 |
|---|---|---|---|
| Metrics | 什么时候开始异常,影响是否扩大 | Counter、Histogram、Gauge | 单条审计与精确账单 |
| Logs/Traces | 哪一次失败,卡在哪个依赖 | trace_id、任务 ID、错误上下文 | 全量经营汇总 |
| DB/事件/数仓 | 最终多少,哪些记录受影响 | 当前状态、状态事件、维度事实 | 秒级高频告警 |
三层不是重复建设。它们以不同成本保存不同粒度的证据,再通过稳定的事件名、时间和关联 ID 串起来。
一次完整排查怎样串起三层
最快的排查不是先跑大 SQL,而是先用指标缩小时间和原因,再用 Trace 与持久化数据确认影响。
【示例场景·合成数据】
10:20 起,created速率接近归零,但 HTTP 请求量没有下降。
排查可以这样推进:
- Metrics 显示
rejected上升,reason=quota_exceeded占大多数; - Trace 显示额度依赖返回了新的拒绝结果,应用自身延迟没有明显变化;
- 日志用
trace_id找到一次具体拒绝,确认归一化原因没有映射错误; - 数据库中的少量新任务来自异常前已接受的请求,不与 Counter 趋势矛盾;
- 数仓在数据成熟后计算受影响的任务 Cohort 和精确数量。
Counter 在几分钟内发现异常,Trace 和日志解释原因,数据库与数仓确认最终影响面。任何一层单独工作,都很难同时做到快、细和可审计。
上线前给指标补一份语义合同
每个业务指标都应有可评审的语义合同,否则同名 Dashboard 很快会统计不同东西。
建议至少记录:
| 字段 | 要回答的问题 |
|---|---|
| Owner | 谁负责定义、变更和告警响应 |
| Event | 哪个状态转换触发 |
| Labels | 允许值、默认值和基数上限 |
| Unit | count、seconds 还是 bytes |
| Source of truth | 指标、数据库、事件账本还是数仓 |
| Retry semantics | 重试、幂等和重复消费怎样计数 |
| Window | 告警窗口与 Cohort 窗口怎样定义 |
| Retention | 需要保存多久,是否允许下采样 |
测试至少覆盖成功、拒绝、重试、幂等命中和事务失败。上线后可以比较 Counter 与数据库汇总是否趋势同向,但不要求逐条完全相等;如果必须完全相等,需求本身就在要求一套账本,而不是普通监控指标。
小结
先分清“实时健康”与“精确事实”,业务指标设计才不会同时伤害告警和对账。
- Counter 在明确的状态转换处更新,
attempted、created、dispatched和completed各有语义; - Label 只放受控、低基数枚举,实体 ID 和原始错误进入日志、Trace 或数据库;
- Counter 会受重启、崩溃窗口、重试和保留策略影响,不能充当业务账本;
- 异步最终完成率要按创建 Cohort 计算,不能机械地用同一窗口
completed / created; - SQL Probe 只做低频、索引友好、超时和并发受控的健康检查;
- 三层业务观测分别负责发现、定位和核实,组合起来才是一条完整证据链。