Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry:一条遥测数据怎样流动

Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry:一条遥测数据怎样流动

Hello,我是小兔大白糖。 Grafana 面板出现 No data 时,最浪费时间的做法是先改 Dashboard:换查询、重启 Grafana、扩大时间范围,然后等待数据自己回来。

更可靠的办法,是先回答四个问题:

  1. 信号由谁产生?
  2. 采集层通过 Pull 还是 Push 收到它?
  3. 哪个后端负责存储和查询?
  4. 数据在哪个边界可能被拒绝、丢弃或改写?

这篇沿用系列导读中的示例业务链路,把 Prometheus、Grafana Alloy、Loki、Tempo、OpenTelemetry 与 Grafana 逐个放回正确位置。重点不是背组件名,而是建立一条可以逐跳验证的数据链。

【示例场景·合成数据】
文中的服务、故障、配置名和数值均为教学示例。所有域名、账号、区域、规格、资源名、容量和成本信息都已省略。

估计阅读时间:22 分钟


目录


先看结论:采集、存储、查询是三件事

Grafana 是查询与展示入口,不是默认采集器;OpenTelemetry 是遥测标准和采集框架,不是存储。

【示例架构·当前实现】
示例架构使用 Prometheus 保存指标,Loki 保存日志,Tempo 保存 Trace。Grafana Alloy 接收 OTLP、采集 Kubernetes 日志并转发;Grafana 查询三个后端;Prometheus Rules 产生告警后交给 Alertmanager 路由。

先用一张表钉住边界:

层次组件示例主要职责
生产应用、OpenTelemetry SDK、Exporter在代码或系统边界产生遥测信号
发现与采集Prometheus、ServiceMonitor、Alloy找到目标,接收、拉取、处理和转发
存储与查询Prometheus、Loki、Tempo保存对应信号并提供查询能力
消费Grafana、Prometheus Rules、Alertmanager展示、规则评估、分组和通知

组件可以替换,但层次不能省略。把 OpenTelemetry 当成 Trace 数据库,或者把 Grafana 当成指标采集器,都会让故障边界变得模糊。

四条数据流怎样并行工作

Pull、OTLP、日志采集和 Trace 派生指标是四条独立链路,不应被画成一根万能管道。

Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry 的遥测数据流
Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry 的遥测数据流 · 点击查看 SVG 原图

示例架构中同时存在四条主路径:

  1. 应用和 Exporter 暴露 /metrics,Prometheus 定时拉取;
  2. 应用写 stdout/stderr,节点上的 Alloy 采集后推送到 Loki;
  3. 应用通过 OTLP 推送 Trace,Alloy 处理后转发给 Tempo;
  4. 应用也可以通过 OTLP 发送 Metrics,由 Alloy 转换后 remote write 到指标后端。

Tempo Metrics Generator 还会从进入 Tempo ingestion path 的 Span 派生指标,再 remote write 到 Prometheus 兼容后端。

路径方向失败时先看哪里
/metricsPrometheus 主动 PullTarget discovery、网络、HTTP 响应
OTLP Metrics/Traces应用主动 PushSDK exporter、Alloy receiver、发送队列
Kubernetes Logs节点 Agent 读取并 Push日志文件、发现、解析、Loki 写入
派生指标Tempo ingestion path 处理后写出Processor 启用状态、采样、remote write

这四条路径共享一些标签和资源属性,但它们的可靠性合同并不相同。Prometheus 可以通过 up 直接判断抓取目标是否可达;Push 链路则需要采集层自身的 accepted、refused、queue 和 send failed 等内部指标补足反馈。

指标路径一:Prometheus Pull

应用负责暴露指标,ServiceMonitor 负责声明发现规则,Prometheus 才负责真正发起抓取。

应用只负责产生和暴露

以 Go HTTP 服务为例,业务中间件记录 Counter、Histogram 和 Gauge,标准 Handler 负责生成 Prometheus exposition:

package main
 
import (
	"net/http"
	"github.com/prometheus/client_golang/prometheus/promhttp"
)
 
func registerMetricsEndpoint() {
	http.Handle("/metrics", promhttp.Handler())
}

这个 Handler 不会主动把数据送给 Grafana,也不会自动注册 Kubernetes 采集目标。它只是在收到 HTTP 请求时,把当前进程内的指标编码为标准格式。

应用指标如何命名、怎样选择 Histogram Bucket,以及为什么不要手写 exposition,会在系列第 02 篇展开。

ServiceMonitor 只负责声明发现规则

Prometheus Operator 读取 ServiceMonitor,并把匹配结果转换成 Prometheus 抓取配置。下面是最小教学示例:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: example-core-api
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: core-api
  endpoints:
    - port: metrics
      path: /metrics
      interval: 30s

这里的 port: metrics 指向 Service 的端口名,不是随手填写的容器端口数字。完整匹配链是:

Prometheus serviceMonitorSelector → ServiceMonitor → Service labels → Service port → Endpoints/EndpointSlice → Pod → /metrics

任意一处不匹配,应用即使能返回 /metrics,Prometheus Targets 中也不会出现这个目标。

Prometheus 负责拉取、保存和评估

Prometheus 定时发送 HTTP 请求,把样本写入 TSDB,并执行 PromQL、Recording Rule 和 Alerting Rule。验证时先查原始信号:

up{service="core-api"}

如果目标存在但 up 为 0,重点检查网络、TLS、认证、端口和 Handler 响应。如果目标根本不存在,优先检查 Operator 选择器与 ServiceMonitor 匹配链,不要先改 PromQL。

Pull 也有边界。短生命周期 Batch Job、跨网络环境和多集群系统,可能需要 Pushgateway、Agent、remote write、联邦或其他方案。选择之前应先明确任务生命周期和数据丢失容忍度。

指标路径二:OTLP Push 与 Remote Write

OTLP 是应用到采集层的遥测协议,Prometheus remote write 是采集层到指标后端的写入协议;它们处于不同链路。

OpenTelemetry SDK 可以在应用内产生 Metrics,通过 OTLP gRPC 或 HTTP 推给 Alloy。Alloy 的典型链路是:

OTel SDK → otelcol.receiver.otlp → processor → otelcol.exporter.prometheus → prometheus.remote_write → 后端

这里的 otelcol.exporter.prometheus 是 Alloy 的 OTLP 到 Prometheus 数据模型转换桥,不是 Remote Write 客户端,也不是上游 OpenTelemetry Collector 中同名 Exporter 的等价实现。真正发出 Remote Write 的是后面的 prometheus.remote_write。

这个转换桥会丢弃 Delta Temporality 指标。若上游 SDK 或 Receiver 可能产生 Delta 数据,应先经过 otelcol.processor.deltatocumulative,再验证 Counter Reset、Histogram、Resource 属性和 Label 映射。原生 OpenTelemetry Collector 发行版可能改用 Prometheus Remote Write Exporter,或暴露 Prometheus Endpoint 供抓取;具体组件名和 Temporality 支持必须按所用发行版与版本核对。

如果 Remote Write 的接收端是 Prometheus 本体,需要显式启用 remote write receiver;如果接收端是其他 Prometheus 兼容后端,则按对应产品的接收接口配置。不同路径不要叠加到同一组时序上。

Prometheus 官方文档同时提醒:内置 receiver 不适合替代常规 Scrape,把 Prometheus 整体改造成通用 Push 接收系统。高吞吐或长期远端写入应评估专门的 Prometheus 兼容后端,而不是只看协议能否连通。

【经验建议】
Pull 与 OTLP Metrics 可以在迁移期并存,但同一指标应只有一个明确所有者。若应用既暴露同一时序,又通过 OTLP 发送同一时序,重复摄入会让请求量和告警结果失真,并增加存储成本。

判断指标走哪条链路,可以看两个条件:

  • 应用是否天然提供稳定、可抓取的 HTTP 端点;
  • 指标是否需要与 OpenTelemetry 的 Resource、Exemplar 和统一采集管道协作。

这里没有适用于所有系统的唯一答案。关键是不要让同一个指标在两条路径中重复,也不要让团队无法说明它的事实源。

日志路径:Pod stdout 到 Loki

应用优先写结构化日志到 stdout/stderr,采集 Agent 负责发现、解析、缓冲和转发。

在 Kubernetes 中,容器运行时把 stdout/stderr 写成节点日志。以 DaemonSet 运行的 Alloy 通常在每个节点完成以下工作:

  1. 发现 Pod 和容器;
  2. 读取容器日志;
  3. 解析 CRI 格式和必要的多行内容;
  4. 补充 namespace、service、container、environment 等稳定标签;
  5. 批量推送到 Loki。

应用直接调用 Loki API 并非做不到,但业务代码随后要承担重试、缓冲、认证、限流和后端故障处理。节点 Agent 能把这些策略集中管理,代价是 Agent 自身也需要资源预算、权限控制和自监控。

Loki Label 要保持低基数。namespace、service_name、environment 通常适合作为索引标签;trace_id、request_id、任务 ID 和用户 ID 不适合直接成为 Label,应留在日志字段或 Structured Metadata 中。

一个最小 LogQL 验证可以从稳定标签开始:

{service_name="core-api"} | json | trace_id != ""

如果按稳定标签都查不到日志,先检查发现、读取和写入链路。不要一开始就依赖全文搜索,因为它无法告诉你日志究竟没有产生,还是被采集层丢掉。

Trace 路径:OTel SDK 到 Tempo

Trace 的主线是上下文传播:SDK 创建 Span,采集层处理,Tempo 保存;Operator 不必成为每条数据的中转站。

应用内的 OpenTelemetry SDK 创建 Span,并通过 W3C Trace Context 在 HTTP、RPC 或消息中注入和提取上下文。Span 通过 OTLP 到达 Alloy 后,可以经过:

  • memory_limiter:在采集层接近内存上限时限制接收;
  • batch:合并发送,降低网络和后端写入开销;
  • resource processor:补充或规范 service.name、环境等属性;
  • filter 或 tail sampling:按规则丢弃或保留 Span;
  • exporter sending queue 与 retry:应对下游短暂失败。

处理后的 Trace 通过 OTLP 写入 Tempo。Grafana 再通过 Trace ID 或 TraceQL 查询。

OpenTelemetry Operator 主要管理 Collector、自定义资源和自动注入。若应用 SDK 直接把 OTLP 发送给 Alloy,Operator 不会自动成为每个 Span 的必经代理;它也不负责长期存储。

【目标设计】
后续关联篇会统一 service.name、环境属性和 Trace Context,并把 trace_id 写入结构化日志。目标是从指标异常进入 Trace,再定位到同一次请求的日志;本篇只建立数据流边界。

Tempo Metrics Generator 为什么特殊

Metrics Generator 从进入 Tempo ingestion path 的 Span 派生指标,不是定时扫描历史 Trace 来补一份全量统计。

它通常可以生成:

  • Span Metrics:调用次数、错误和时延分布;
  • Service Graph Metrics:服务之间的调用边。

结果通过 Prometheus remote write 进入指标后端,再由 Grafana 使用 PromQL 展示。

Tempo 不同主版本的内部接入路径可能变化。本文和配图统一抽象为 Tempo ingestion path;落地时应对照部署版本确认 Metrics Generator 的输入、队列和失败指标。

这个能力适合快速补齐跨服务拓扑和相对趋势,但有三个边界:

  1. 对应 Processor 需要启用,不能假设安装 Tempo 后自动出现所有派生指标;
  2. 只处理进入生成路径的 Span,不会自动为旧 Trace 回填指标;
  3. 只要 Span 在到达生成器前被采样或丢弃,派生计数就不再天然代表全流量。

因此,全流量 API RED 通常仍由应用或入口指标承担;Trace 派生指标更适合拓扑、相对趋势和深挖。是否能用于告警,要根据采样位置和采样策略判断。

Grafana 与 Alertmanager 位于消费端

Grafana 组合查询,Alertmanager 处理告警实例;二者都不能替代上游信号生产和存储。

Grafana 配置 Prometheus、Loki 和 Tempo Data Source 后,可以:

  • 用 PromQL 展示指标;
  • 用 LogQL 查日志;
  • 用 TraceQL 或 Trace ID 查链路;
  • 用 Data Link、Derived Field 或 Exemplar 在信号间跳转。

Grafana 默认不保存这些遥测数据。Dashboard JSON 只是查询和展示定义。把 Dashboard 导出备份,并不等于备份了 Prometheus、Loki 或 Tempo 中的数据。

Prometheus 根据规则生成告警实例后,将其发送给 Alertmanager。Alertmanager 负责去重、分组、抑制、静默和通知路由,不负责计算 PromQL。Grafana Alerting 也可以评估规则,但一套体系应明确规则事实源,避免同一故障从两套系统重复通知。

组件边界可以压缩成下面这张表:

组件主要输入主要输出不负责
OTel SDK应用调用与上下文OTLP 遥测长期存储
OTel OperatorKubernetes CR 与注入配置Collector 或自动埋点注入Dashboard
AlloyOTLP、Kubernetes 日志Loki、Tempo、指标后端业务数据真相
ServiceMonitor选择器与端点声明Prometheus 抓取配置创建 Service 或实际抓取
Prometheus/metrics、remote writePromQL、规则、告警日志和 Trace 存储
Loki日志流LogQL 结果指标 TSDB
TempoSpanTrace 查询全流量计数保证
GrafanaData Source 查询Dashboard 与 Explore默认采集和存储
Alertmanager告警实例分组后的通知评估 PromQL

No data 怎样逐跳定位

不要从 Dashboard 反向猜原因;从生产者到消费者逐跳验证,能把模糊的 No data 缩小到一个具体边界。

Grafana No data 从生产者到消费者的逐跳排查路径
Grafana No data 从生产者到消费者的逐跳排查路径 · 点击查看 SVG 原图

第一步:排除查询层问题

先确认 Grafana Data Source Health、时间范围、时区、环境变量和 Dashboard 变量。随后绕过复杂面板,直接查询一个原始指标或稳定日志标签。

如果原始信号存在,问题多半在 Dashboard、Recording Rule 或变量;如果原始信号不存在,再继续向上游走。

第二步:验证生产者

指标路径可以直接访问教学服务端点:

curl -fsS http://core-api:8080/metrics

日志路径确认应用确实写入 stdout/stderr;Trace 路径确认 SDK 创建了 Span、Exporter 没有持续报错,并且上下文没有在入口处断开。

第三步:验证采集层

对 Prometheus Pull,检查:

  • Prometheus 是否选择了对应 ServiceMonitor;
  • Targets 中是否出现目标;
  • 目标是 UP 还是抓取失败;
  • Service Label、端口名、路径、认证和网络是否匹配。

对 Alloy Push 与日志采集,检查:

  • receiver 或日志 source 是否已发现数据;
  • accepted 与 refused 是否异常;
  • 发送队列是否持续增长;
  • exporter 是否持续发送失败。

内部指标的精确名称可能随 Alloy 组件和版本变化,应以当前版本官方文档和组件调试界面为准。

第四步:验证存储后端

采集层已经接收,不等于后端已经持久化。继续检查:

  • Loki 或 Tempo 是否拒绝写入;
  • 认证、租户和资源属性是否一致;
  • 队列、限流和对象存储是否异常;
  • 查询是否使用了正确标签、时间范围和环境。

采集系统也需要自监控。否则 Alloy 队列满了、Prometheus remote write 积压了、通知链路断了,业务 Dashboard 只会安静地少一块数据。

【示例场景·合成数据】
core-api 的请求面板突然为空,但 Pod 仍然 Ready。直接访问 /metrics 返回 200;Prometheus Targets 中却没有该服务。继续核对后发现,ServiceMonitor 选择 app.kubernetes.io/name: core-api,Service 使用了另一个教学标签。修正声明后,Target 出现并变为 UP,原始 Counter 随后恢复。这个问题位于发现层,与业务埋点和 Grafana 重启无关。

常见误判

多数误判都来自把相邻组件的职责混在一起,或者忽略采样、队列和标签基数的边界。

  1. 应用有 /metrics,就认为 Prometheus 已采集
    暴露端点只是第一步。Operator 选择器、Service、端口和网络必须全部连通。

  2. ServiceMonitor 会主动抓取数据
    它只声明发现规则。真正发 HTTP 请求的是 Prometheus。

  3. OpenTelemetry 等于 Trace 数据库
    SDK、协议和 Collector 负责遥测产生与传输,Tempo 等后端才负责保存。

  4. Grafana 没图就是 Grafana 故障
    Grafana 可能只是忠实展示上游的空结果。应先查询原始信号。

  5. Trace 派生指标等于全流量指标
    采样位置决定计数是否完整。没有说明采样策略,就不能把派生请求量当作精确事实。

  6. 把 trace_id 放进 Loki Label 更方便
    每个 Trace ID 几乎都不同,会制造高基数。它应保留在日志字段或 Structured Metadata 中。

  7. Pull 和 OTLP 同时发送更保险
    若两条路径拥有同一指标,结果可能是重复摄入,而不是双保险。

小结

一条遥测数据链必须说清生产者、传输方式、采集层、存储后端、查询入口和失败边界。

  • 应用暴露指标不等于 Prometheus 已抓取;ServiceMonitor 只声明发现规则;
  • OTLP 与 remote write 位于不同链路,Pull 与 Push 并存时要明确指标所有权;
  • Alloy 负责接收、处理和转发,Loki、Tempo、Prometheus 分别负责对应信号;
  • Tempo 派生指标受采样位置影响,不能无条件替代全流量 RED;
  • 排查 No data 时,从生产者向消费者逐跳验证,比先改 Dashboard 更快。

下一篇将进入应用服务层:用 Go Prometheus Client 统一 HTTP RED、Histogram、标签合同和 ServiceMonitor,并拆解手写 exposition 与采集标签冲突造成的 exported_* 前缀。


公开参考