下游依赖可观测性:读懂 Kafka Lag/Age、Redis Exporter 与数据库双视角

Hello,我是小兔大白糖。 服务的 RED(请求量、错误率、耗时)全绿,异步任务却越积越多;Redis CPU 不高,接口仍在超时;数据库监控没有报警,应用连接池却已经排队。依赖故障难排,常见原因不是少了一张图,而是只看了调用方或服务端其中一边。
这篇写给中高级后端、SRE 和 DevOps 工程师。我们把 Kafka、Redis、关系数据库、MongoDB Atlas 和分析查询引擎放进同一套调查框架,重点回答三个问题:该看哪一侧、Exporter 是否需要额外进程、采集本身会付出什么代价。
【示例场景·合成数据】
下文的服务名、集群名、故障过程和数值均为教学示例。文章不包含真实账号、区域、域名、容量、业务事件、查询文本、Topic、Collection 或表结构。
估计阅读时间:16 分钟
目录
先记住主线:调用方信号证明“业务看到了什么”,服务端信号解释“依赖为什么这样”;两边缺一边,都只能得到半个结论。
- 先定模型:依赖要从两边看
- Kafka:Lag 和 Age 必须一起读
- Redis:redis_exporter 是进程,但不是必选项
- 数据库与查询引擎:总耗时要拆阶段
- Exporter 的边界:适配器不是免费旁路
- Dashboard:按调查顺序组织
- 常见误判:指标在线不等于依赖健康
- 小结:五条可执行规则
- 落地前按具体产品核对
- 公开参考
先定模型:依赖要从两边看
每类下游都至少需要“应用端体验 + 服务端状态”两组信号;Trace 用来连接两边,不替代任意一边的全量指标。
| 视角 | 采集位置 | 最适合回答 | 单独使用会漏掉什么 |
|---|---|---|---|
| 应用端 | SDK、Middleware、驱动、连接池、OpenTelemetry | 本服务看到的延迟、错误、超时、等待和重试 | Broker、缓存或数据库自身的资源与复制状态 |
| 服务端 | 原生指标、JMX、Exporter、管理 API、云监控 | 依赖是否接近连接、内存、磁盘、队列或复制上限 | 客户端池耗尽、网络路径和超时预算 |
| 关联面 | Trace、Exemplar、结构化日志 | 时间花在连接、排队、执行还是结果回传 | 未采样流量的精确总量与长期趋势 |
例如,Redis 的 CPU、内存和 blocked_clients 都正常,不能证明应用正常。应用自己的连接池可能已经耗尽,所有请求都在等待可用连接。反过来,应用端超时上升也不能直接证明 Redis 过载,网络、DNS、TLS 或调用方自己的调度停顿都可能消耗超时预算。
【目标设计】
依赖类应用指标只演示四种受控标签:dependency、operation、outcome、cluster。它们的值必须来自白名单,例如dependency=redis、operation=get、outcome=timeout。Prometheus 自动增加的job、instance等 Target Label 属于采集拓扑,不在这四类应用标签里。
不要把用户 ID、消息 Key、原始 Topic、Redis Key、SQL、查询条件或异常全文放进 Label。需要单次请求细节时,把脱敏后的上下文留给 Trace 或日志。
Kafka:Lag 和 Age 必须一起读
Lag 表示还差多少条,Age 表示最老的一条等了多久;再加上生产与处理吞吐,才能区分流量尖峰、持续积压和消费停摆。
先把两个量说准确
对一个 Consumer Group 的某个分区,Lag 常用近似是:
lag = log end offset - committed offset
它是 Offset 差值,不是秒数。一个每秒进入一万条消息的 Topic,Lag 为一万可能只落后一秒;低流量 Topic 的 Lag 只有一条,也可能意味着那条消息已经等了数小时。
Age 需要先定义“年龄从哪个时间戳开始算”。Kafka Record 的时间可能是生产者创建时间,也可能由 Broker 记录追加时间;重试、乱序、暂停分区和压缩 Topic 还会改变直觉。工程上真正想回答的通常是:
oldest_pending_age = now - 最老的未完成业务消息时间
这个量不一定由 Kafka 原生指标或现成 Exporter 直接提供。它可能来自消息时间戳、消费者业务指标,或托管平台的特定指标。没有确认语义前,不要把名字里带 age 的曲线直接当作“用户已等待时间”。
三层信号各管一段
| 层 | 建议观察 | 能回答什么 |
|---|---|---|
| Producer 应用端 | 发送速率、失败、重试、超时、发送耗时、Batch 和 Buffer 等待 | 消息是否成功进入 Kafka,客户端是否被背压 |
| Consumer 应用端 | 拉取与处理速率、处理失败、提交失败、Rebalance、暂停状态、单条处理耗时 | 消费者是否拿到消息,慢在拉取还是业务处理 |
| Group / Broker 服务端 | 分区 Lag、活跃成员、请求与网络队列、ISR 与副本状态、Broker 错误 | Group 是否积压,Broker 与副本是否异常 |
JVM Broker 常通过 JMX Exporter 暴露服务端指标。独立 Kafka Exporter 则常读取 Broker 元数据、Group 与 Offset 信息来计算 Lag。二者职责不同:前者主要解释 Broker,后者主要解释 Consumer Group。非 JVM 客户端的应用指标,应由对应客户端库或应用埋点产生,不能假设 Broker 上的 JMX 会替它采集。
Kafka 监控的成本来自哪里
Exporter 不在消息收发热路径,不等于采集没有成本。
- 管理 API 压力:枚举 Consumer Group、Topic、Partition 和 Offset 会向 Kafka 发起管理请求。Group 与分区越多,单次采集工作越大。
- 时序基数:按
group × topic × partition暴露 Lag,时序数会随拓扑直接增长;再叠加环境、集群和 Histogram Bucket,成本继续相乘。 - 抓取频率:把间隔从 60 秒缩到 10 秒,采集请求、样本量和存储写入大致都会增加,而故障定位能力不一定线性提升。
- Trace 数量:每条消息都创建完整 Span 且不采样,会把成本转移到 SDK、网络、Collector 和 Trace 后端。
- Age 计算方式:若实现需要额外读取 Record 或扫描状态,它可能比读取 Offset 更重;具体代价取决于实现。
【经验建议】
告警先用 Group / Topic 级聚合,排障时再下钻分区。总 Lag 要配合最大分区 Lag,否则一个热点分区会被求和或平均掩盖;Age 则优先看最大值,并同时确认生产速率没有归零。
Redis:redis_exporter 是进程,但不是必选项
redis_exporter 本质上是“连接 Redis、读取状态、转换为 Prometheus 指标”的程序;它通常需要运行进程或容器,但不代表每套 Redis 都必须另起同一种 Exporter。
它不是 Redis 业务代理,也不承载 GET、SET 等业务流量。自建环境常把它部署成 Sidecar、独立 Deployment,或交给 Operator 管理。托管 Redis 如果已经提供满足需求的云监控指标,可以不重复部署;如果云监控缺少命令、复制或延迟细节,再补 Exporter 或客户端指标。
| 形态 | 适合场景 | 主要代价 |
|---|---|---|
| 每实例 Sidecar | 目标身份清楚、网络边界严格 | 实例数增加时,进程、配置和抓取目标一起增长 |
| 集中式 Exporter | 目标较多,希望统一管理 | 凭据集中、跨网络访问、单点和并发抓取压力 |
| Operator 集成 | 生命周期已交给 Operator | 要核对生成的 Collector、权限和升级行为 |
| 托管云监控 | 平台已提供足够指标 | 粒度、延迟、保留期和指标语义受平台约束 |
服务端与应用端要分开
| Redis 服务端 | 应用端 |
|---|---|
| 连接数、拒绝连接、阻塞客户端 | 命令量、错误、超时、命令耗时 |
内存、maxmemory、碎片与淘汰 | 连接池 active、idle、wait、checkout timeout |
| 命中、未命中、过期 | Pipeline / Batch 大小与重试 |
| 主从状态、复制延迟、持久化结果 | 熔断、降级与调用预算 |
| Cluster 节点与 Slot 健康 | 调用链 Span 与网络耗时 |
读取 INFO 通常比全 Key 扫描轻,但它仍会消耗 Redis 主线程处理时间、网络和 Exporter CPU。不要为了“指标更全”启用 Key 枚举、值读取或高频 Slowlog 抓取;也不要把 Key 名、脚本文本和完整命令参数暴露成 Label。
【经验建议】
给 Exporter 设置连接与采集超时,使用满足采集需要的最小权限凭据,并监控它自己的 scrape duration、scrape error、进程 CPU 和内存。Exporter 超时首先说明“这次观测失败”,不能自动推导成 Redis 已宕机。
数据库与查询引擎:总耗时要拆阶段
数据库类依赖最容易把连接池等待、服务端执行和结果回传混成一个“查询慢”;客户端分阶段计时,服务端再补资源与执行证据。
关系数据库:先看池,再看库
应用端至少要观察连接池的 open、in-use、idle、wait count 和 wait duration,再记录查询或事务的耗时、错误、超时、取消与回滚。以 Go 为例,database/sql.DBStats 能提供连接池状态,但查询语义和结果仍要由应用埋点补齐。
数据库服务端则关注连接上限、CPU、内存、存储与 IOPS、锁、死锁、长事务、复制延迟、故障切换和备份。自建 PostgreSQL 可以使用 postgres_exporter 或其他原生采集方案;托管关系数据库可以优先使用云监控与数据库性能分析工具。
池越大不一定越安全。多个 Pod 的最大连接数会相加,应用端“减少等待”的调参可能把压力转移到数据库。SQL 文本、参数和高基数 Query ID 不应进入 Prometheus Label;需要查询级诊断时,使用脱敏后的 Query Shape / Fingerprint、慢查询工具或 Trace。
MongoDB Atlas:平台视角不能替代驱动视角
Atlas 能提供集群 CPU、内存、连接、磁盘、读写、复制、Query Targeting 和性能分析入口,适合解释服务端发生了什么。应用仍要观察 Command Duration、Server Selection、连接池 checkout wait、超时和错误。
如果 Atlas 已经覆盖团队需要的服务端信号,可以先不部署额外 MongoDB Exporter。Grafana 不必强行复制 Atlas 的全部页面;更实用的做法是在统一依赖看板展示用户症状和少量关键服务端指标,再提供受控的 Atlas 下钻入口。
Collection、Command 名可以按白名单聚合,原始查询条件、文档 ID 和用户信息不能成为 Label。Trace 中也只保留脱敏后的 Query Shape,不记录完整文档。
查询引擎:排队、执行、读取必须拆开
分析查询引擎通常有 Coordinator、Worker、Catalog / Connector、资源组和内存池等概念。服务端应观察 submitted、running、queued、failed queries,Queue Time、Execution Time、Worker 可用性、Memory Pool、Spill、扫描量和 Connector 错误。
应用端则要把总耗时拆成连接建立、服务端排队、执行和结果读取。否则网络回传慢会被误判成查询计划慢,资源组排队也会被误判成 Worker 算力不足。不同引擎暴露 JMX、原生 /metrics、系统表或管理 API 的方式不同,不要把某个引擎的指标名直接复制给所有查询系统。
Exporter 的边界:适配器不是免费旁路
Exporter 是观测协议适配器:它把目标已有的状态转换成 Prometheus 指标,不负责修复目标,也不保证所有指标都值得采。
采集代价主要落在四处:
| 成本面 | 常见来源 | 控制手段 |
|---|---|---|
| 被观测系统 | 管理 API、JMX、系统表、INFO、云 API | 限制 Collector、超时、错峰、合理间隔 |
| Exporter | 目标枚举、转换、缓存、并发连接 | 限制并发、资源配额、自监控 |
| Prometheus | 时序基数、抓取、规则计算、远程写 | 标签白名单、聚合、Recording Rule |
| 网络与后端 | 样本、日志、Span 传输与保留 | 采样、保留期、分层存储 |
因此,选型不能从“统一安装哪个 Exporter”开始,而要从缺失的问题开始:
| 依赖 | 服务端信号的常见首选 | 何时再加适配器 |
|---|---|---|
| Kafka | Broker JMX / 原生指标 + Group Lag 采集 + 客户端指标 | 当前方案拿不到 Group、分区或客户端需要的语义 |
| Redis | 原生 / 云监控 + 应用连接池;自建可用 redis_exporter | 云指标缺少必要状态,且额外采集成本可接受 |
| 关系数据库 | 数据库统计视图、Exporter、云监控、性能分析工具 | 统一查询或告警确有缺口 |
| MongoDB Atlas | Atlas 监控 + 驱动指标 | 平台指标无法进入现有调查链,且 API / 权限允许 |
| 查询引擎 | 原生 Metrics、JMX、系统表或管理 API | 没有 Prometheus 接口,才考虑专用适配器 |
这张表不是“每行都装一个 Exporter”的采购清单。相同产品在自建、Operator 管理和托管环境里的最佳采集路径可以不同。
Dashboard:按调查顺序组织
一张依赖看板应先展示调用方症状,再展示依赖饱和度,最后提供 Trace 与专用控制台入口;不要按产品 Logo 堆图。
【目标设计】
统一看板使用dependency、operation、outcome、cluster四个受控维度筛选。每个区块先放应用端,再放服务端;分区、节点和原始查询只在下钻页出现。
建议顺序:
- 调用症状:请求 / 消息处理 Rate、Error、Duration、Timeout;
- 客户端饱和度:连接池等待、Buffer、并发槽位、重试;
- 队列状态:Kafka Lag、最大分区 Lag、Oldest Pending Age、生产与处理吞吐;
- 服务端状态:Redis 内存与淘汰、数据库连接与锁、查询引擎 Queue 与 Spill;
- 调查入口:相关 Trace、脱敏日志、Atlas / 云控制台 / 查询分析工具。
【示例场景·合成数据】
某任务 Worker 的 P99 从 2 秒升到 15 秒。Kafka 总 Lag 持续增长,但最老消息 Age 只有几十秒;Trace 显示主要时间花在 Redis 连接池 checkout。Redis 服务端 CPU、内存和阻塞客户端均无异常,应用池 wait duration 却激增。最终证据指向调用方未及时归还连接,而不是 Kafka Broker 或 Redis 实例过载。
这个场景说明:只看 Redis Exporter,会得到“Redis 正常”;只看 Kafka Lag,会把积压误判成 Broker 故障;双视角和 Trace 才能把症状与原因接起来。
常见误判:指标在线不等于依赖健康
最危险的误判,是把一个局部信号升级成全局结论。
| 看到什么 | 错误结论 | 更稳的下一步 |
|---|---|---|
| Kafka Lag 高 | Broker 一定有故障 | 对照 Age、生产 / 处理速率、热点分区和 Rebalance |
| Kafka Lag 低 | 消费链健康 | 确认 Producer 仍在发布,错误消息没有被静默跳过 |
| Redis CPU 正常 | Redis 调用没有问题 | 检查应用连接池、网络、超时和命令延迟 |
Exporter 的 up == 0 | 依赖已经宕机 | 区分 Exporter、凭据、网络、抓取与目标本身 |
| 数据库连接池调大 | 等待问题已经解决 | 计算所有 Pod 的连接总预算,并看长事务与泄漏 |
| Atlas 页面完整 | 应用端无需埋点 | 补 Driver、Pool、Server Selection 与 Trace 视角 |
| 指标越多 | 可观测性越强 | 每个 Collector 都要对应问题、权限与成本预算 |
小结:五条可执行规则
依赖可观测性的完成标准,不是 Exporter 数量,而是值班者能用低成本证据回答“慢在哪一段、影响多大、下一步查哪里”。
- 固定双视角:应用端看体验和池等待,服务端看资源、队列、复制与执行状态。
- Kafka 三件套一起读:Lag、Oldest Pending Age、生产 / 处理吞吐;再下钻热点分区。
- 把 Exporter 当进程和适配器:它需要运行资源、权限和网络,但不必在所有托管系统里重复部署。
- 数据库总耗时要拆段:连接池等待、排队、执行、结果读取不能混成一个 Duration。
- 先治理基数再加 Collector:高基数、过密抓取、昂贵枚举和无采样 Trace,往往比简单 Counter 更贵。
落地前按具体产品核对
以下四项依赖具体产品版本、部署形态或套餐,发布前需要对目标环境逐项确认,正文没有把它们写成通用事实。
- Kafka 的 Oldest Pending Age 由哪个组件提供,以及采用 Producer CreateTime、Broker LogAppendTime 还是业务创建时间;不同 Exporter 与托管平台并不统一。
- 选定版本的
redis_exporter默认和可选 Collector 到底会执行哪些命令,尤其是 Slowlog、Key 检查与脚本采集;不要仅凭指标名猜成本。 - MongoDB Atlas 当前套餐可用的 Metrics API、Prometheus 集成、采集粒度与保留期;这些能力可能随层级和版本变化。
- 目标查询引擎通过 JMX、原生
/metrics、系统表还是管理 API 暴露指标,以及 Queue Time、Execution Time、Spill 的准确语义。
公开参考
下列资料用于核对 Exporter 职责、客户端连接池和各类依赖的公开监控能力;具体字段仍以部署版本为准。