集群全绿,用户却打不开:用 DNS、TLS、Ingress 与 Blackbox 补齐外部视角

Hello,我是小兔大白糖。 Pod Ready、Service 有 Endpoint、Ingress Controller 没报警,用户却仍然打不开站点。继续盯着集群内部 Dashboard,往往只会得到更多“看起来正常”的证据。
真正缺的是用户视角。一次公网访问要先经过 DNS、CDN 或 WAF、负载均衡、TLS、Ingress 和 Service,最后才到应用。应用指标只能说明到达应用的请求,Ingress 指标只能说明到达入口代理的请求,外部探测才会走过用户看到的公开路径。
这篇写给已经在维护 Kubernetes、Prometheus 与 Grafana 的后端、SRE 和 DevOps 工程师。我们重点解决七个问题:三种视角怎样分工,DNS、TLS 与入口怎样定位,Blackbox Exporter 的 Multi-target Pattern 怎样工作,多地点探测如何避免误报,合成事务何时需要独立工具,外部 SLI 怎样定义,以及安全和成本怎样控制。
【示例场景·合成数据】
文中的域名、服务、探测点、故障过程、阈值和指标结果均为教学示例,不对应任何组织、产品或真实环境。示例配置不包含账号、区域、真实地址、凭据、容量或流量规模。
估计阅读时间:18 分钟
目录
阅读顺序先从三种视角和访问路径开始,再进入探测实现、SLI、告警与治理。
- 先给结论:三种视角不能互相替代
- 沿访问路径拆解 DNS、TLS、LB 与 Ingress
- Blackbox Exporter 使用 Multi-target Pattern
probe_success只证明 Module 条件成立- 多探测点要增加独立证据,不是复制噪声
- 多步骤合成事务应与 Blackbox 分工
- 外部 SLI 必须先写清“好”与“有效样本”
- 告警先确认用户症状,再补根因上下文
- Dashboard 按访问路径排列
- 安全与成本从目标数量开始算
- 一次 TLS 故障怎样被三层证据定位
- 小结
- 落地前按产品核对
- 公开参考
先给结论:三种视角不能互相替代
应用、Ingress/LB 与 Blackbox 分别观察访问路径的末端、中段和全程;三者组合,才能区分“请求没进来”和“请求进来后失败”。
| 视角 | 采集位置 | 最适合回答 | 单独使用的盲点 |
|---|---|---|---|
| 应用 RED | 应用进程或框架 | 请求量、业务错误、处理时长、依赖调用 | DNS、TLS、WAF、LB 与入口路由失败 |
| Ingress/LB RED | 入口代理或云负载均衡 | 入口状态码、连接、Upstream 时延与重置 | 部分 DNS、公网与客户端地域路径 |
| Blackbox Probe | 集群外或指定网络位置 | 可达性、DNS、TCP、TLS、HTTP 与端到端时延 | 应用内部根因与单次业务状态 |
三种视角最有价值的地方,是它们失败时不会同时给出相同答案:
| 外部 Probe | Ingress/LB | 应用 RED | 优先调查 |
|---|---|---|---|
| 失败 | 没有对应请求 | 没有对应请求 | DNS、CDN/WAF、公网、LB 监听与探测点自身 |
| 失败 | 入口 4xx/5xx 或 TLS 错误上升 | 没有对应请求 | 入口策略、证书、路由、Service/Upstream |
| 失败 | 请求已转发 | 应用错误或超时上升 | 应用与下游依赖 |
| 单地点失败 | 其他地点成功 | 整体正常 | 地域网络、递归 DNS、CDN 边缘或单个探测器 |
这张表只给调查方向,不直接判定根因。Ingress 的聚合流量可能来自其他地区;应用也可能收到重试流量。定位时要对齐同一目标、地点和时间窗口。
沿访问路径拆解 DNS、TLS、LB 与 Ingress
不要把“公网访问失败”当成一个指标;按 DNS、连接、TLS、入口处理和应用响应拆段,才能知道时间和错误消耗在哪里。
DNS:集群内与公网是两套问题
集群内 CoreDNS 指标适合回答 Service 名解析、请求延迟和 SERVFAIL 等问题。公开域名则还经过权威 DNS、递归解析器、缓存、CNAME 链和地域调度。CoreDNS 全绿,不能证明公网域名解析正确。
外部 DNS 观测至少分成两类:
- HTTP Probe 的解析阶段:记录探测器为目标 URL 解析所花的时间,接近该探测器实际访问前的体验;
- DNS Probe:向指定解析器查询 A、AAAA、CNAME 或其他记录,并检查返回码和答案是否符合预期。
如果只看解析耗时,就可能漏掉“解析很快但记录错了”。如果只固定查询一个公共解析器,又可能漏掉运营商或地域解析差异。返回的 IP 列表适合放入受控日志或调试结果,不要把每个 IP 直接变成 Prometheus Label。
TLS:必须检查用户实际拿到的证书
TLS 观测至少要覆盖握手成功、主机名匹配、证书链受信、证书到期时间、SNI 与协议策略。证书吊销状态是否可验证,取决于探测器和环境能力,不能只凭“握手成功”推断。
读取 Kubernetes Secret 中的 notAfter 不够。用户实际连接的可能是 CDN、WAF 或云负载均衡,它们终止 TLS 后使用的是另一张证书。证书告警必须至少有一条从外部访问公开端点的证据。
Blackbox Exporter 的 probe_ssl_earliest_cert_expiry 是 Unix 时间戳,可以换算为剩余天数:
(probe_ssl_earliest_cert_expiry - time()) / 8640030、14、7 天可以作为分级提醒的教学起点,但真正阈值要覆盖自动续期、发布、审批和人工修复所需的最长时间。
LB 与 Ingress:区分谁产生了错误
负载均衡和 Ingress 都应关注请求速率、4xx/5xx、连接、请求时延、Upstream 时延、重置、超时、配置加载结果与 TLS 错误。托管 LB 还可能提供健康 Target、拒绝连接、TLS 协商和处理字节等信号。
关键不是收集所有字段,而是区分:
- 入口自己拒绝或生成的 4xx/5xx;
- Upstream 返回的 4xx/5xx;
- 入口等待 Upstream 超时;
- 请求根本没有到达入口。
不同 Ingress Controller 和云 LB 的原始指标名、标签与错误归属不一致。统一 Dashboard 可以统一“入口错误”“Upstream 错误”等语义,但不能假装底层产品使用同一个指标合同。
Blackbox Exporter 使用 Multi-target Pattern
Prometheus 抓取的是 Exporter 的 /probe,Exporter 再按 target + module 主动访问目标;探测目标不是 Exporter 自己。
Blackbox Exporter 常用 HTTP、TCP、DNS、ICMP 或 gRPC Module 执行探测。Module 是一份探测合同,定义协议、超时、允许状态码、重定向、TLS 和内容检查等条件。
下面是一个最小 HTTP Module。它要求 HTTPS、200 状态码和受信任证书链:
modules:
public_http:
prober: http
timeout: 5s
http:
method: GET
valid_status_codes: [200]
follow_redirects: true
fail_if_not_ssl: true
tls_config:
insecure_skip_verify: falsePrometheus 再用 Relabeling 把目标写入 __param_target,把返回时序的 instance 改成真实目标,并把实际抓取地址改为 Exporter:
- job_name: blackbox-public
metrics_path: /probe
params:
module: [public_http]
static_configs:
- targets: [https://example.com/]
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: blackbox-exporter.monitoring.svc:9115同一个 Exporter 可以探测多个目标,这就是 Multi-target Pattern。它不要求 Exporter 跑在目标主机上,反而常被放在需要模拟的网络位置。
Exporter 自身的 /metrics 与目标的 /probe 要分别监控:
/metrics说明 Exporter 进程是否在线、是否消耗过多资源;/probe返回目标探测指标;- Prometheus 的
up说明这次抓取是否成功; probe_success说明 Module 条件是否全部满足。
因此,up=1 与 probe_success=0 可以同时出现:Prometheus 成功拿到了 Exporter 返回的“探测失败”结果。
probe_success 只证明 Module 条件成立
probe_success=1 不是“业务成功”,而是“这个 Module 配置的所有检查都通过”。
它能证明什么,完全取决于 Module:
| Module 做了什么 | probe_success=1 最多能说明 |
|---|---|
| TCP Connect | 从该探测点能建立 TCP 连接 |
| TLS 握手与校验 | TLS 握手、证书链和主机名等配置条件通过 |
| HTTP 状态码 | 收到了允许的 HTTP 状态码 |
| HTTP 状态码 + Header/Body 匹配 | 响应还满足指定内容合同 |
| 单个只读 API 检查 | 该接口在这一刻返回了预期结果 |
即使 HTTP 返回 200 并匹配了 "status":"ok",也不能自动证明登录、创建、异步处理、通知和清理都成功。它更不能证明所有真实用户、所有地区和所有请求都成功。
常见指标可以这样解释:
probe_duration_seconds:整次 Probe 的耗时;probe_dns_lookup_time_seconds:DNS Lookup 耗时;probe_http_duration_seconds{phase=...}:HTTP 的解析、连接、TLS、处理与传输阶段;probe_http_status_code:最终状态码;probe_http_redirects:重定向次数;probe_ssl_earliest_cert_expiry:探测到的最早证书到期时间;probe_success:Module 最终判定。
HTTP 阶段耗时会汇总重定向链上的对应阶段。若重定向跨域,DNS、TLS 和处理时间可能来自多个端点,不能把某一阶段直接归因给最初域名。
更稳的 Module 设计是按目的拆分,而不是让一个模糊的 http_2xx 承担所有语义:
public_homepage_contract:公开页面状态码与稳定内容;public_api_ready:只读 API 的状态码、TLS 与响应合同;public_dns_a:指定解析器上的 A 记录检查;public_tcp_connect:只验证端口可连接。
名称本身要能告诉值班人员“成功条件是什么”。Module 改动会改变 probe_success 的语义,应按指标合同变更评审。
多探测点要增加独立证据,不是复制噪声
多地点的价值是区分全局故障、地域故障和探测器故障;如果所有 Probe 共用同一网络、DNS 和集群,它们并不独立。
起步时可以覆盖三种位置:
- 集群内:验证 Service 或 Ingress 的内部路径;
- 同区域外部:验证公开 DNS、LB 与公网入口;
- 关键用户区域:验证地域网络、递归 DNS 与 CDN 边缘。
不要只在被监控集群里运行唯一 Probe。集群整体故障时,它可能和业务一起消失,无法把失败证据送回监控后端。
多地点还要控制标签。region、probe_site、module 和 target 可以来自固定白名单;探测节点 ID、随机任务 ID 和原始 DNS 答案不应进入 Label。
告警决策可以按证据强度分层:
| 观测 | 建议动作 |
|---|---|
| 单探测点短时失败,其他地点成功 | 先检查探测器、当地网络和 DNS;通常不立即 Page |
| 单个关键用户区域持续失败 | 按该区域的业务重要性路由,并保留地域上下文 |
| 两个或更多独立地点持续失败 | 提升为全局入口故障候选,关联 Ingress 与应用信号 |
| 所有目标同时在同一探测点失败 | 优先怀疑探测点、凭据、网络出口或 Exporter |
| Probe 指标整体缺失 | 这是监控缺口,单独检查 Exporter、Prometheus 抓取与远端写入 |
“两个地点、持续 5 分钟”只能作为教学规则,不是通用阈值。低流量但关键的 API、单地域产品和全球站点需要不同策略。
多步骤合成事务应与 Blackbox 分工
Blackbox Exporter 适合单目标、单协议合同;登录、创建、轮询和清理这类有状态流程,应交给专用合成 Runner。
简单 GET 可以回答“入口是否可达”,却回答不了关键业务是否走通。一个教学用合成事务可以是:
- 用专用测试账号登录;
- 创建带合成标记的临时任务;
- 轮询到成功或超时;
- 验证结果的稳定字段;
- 删除测试数据,并验证清理结果。
这类流程可以由浏览器探测、k6、Playwright 或受控脚本执行。具体工具不是重点,关键是把结果拆成:
- Probe 失败:DNS、连接、TLS 或 HTTP 合同未通过;
- 业务失败:流程到达应用,但状态或结果不符合预期;
- 清理失败:主流程成功,临时数据没有被回收;
- Runner 失败:合成执行器、凭据或调度本身异常。
合成事务必须使用专用租户和最小权限凭据,不触发真实通知、计费、物流或第三方副作用。写操作要有幂等键、频率上限、自动过期和补偿清理。
日志与 Trace 可以增加 synthetic=true 这类受控标记,方便调查和成本归集。是否把合成流量计入业务 Dashboard 与 SLI,必须显式决定;不要让它静默抬高真实请求成功率。
外部 SLI 必须先写清“好”与“有效样本”
外部可用性 SLI 不是简单平均 probe_success;它要先定义成功合同、探测位置、有效样本和缺失数据策略。
可以把外部 SLI 分成三层,避免混成一个含糊的“健康分”:
| SLI | Good Event | 适合回答 |
|---|---|---|
| 网络与入口可用性 | DNS、连接、TLS 和允许状态码通过 | 用户能否到达公开端点 |
| Endpoint Contract 可用性 | 状态码、Header 或 Body 合同通过 | 公开接口是否返回最低可用内容 |
| 合成事务可用性 | 多步骤流程在预算内完成且结果正确 | 关键业务路径是否能走通 |
以 Probe 为基础时,最小表达是:
Good Probe 数 / Valid Probe Attempt 数
但至少还要写清:
- 哪些状态码、重定向和响应内容算成功;
- 超时预算是多少;
- 哪些地点单独计算,哪些可以加权聚合;
- 计划维护怎样处理;
- Exporter 宕机、凭据过期和样本缺失算失败还是未知;
- 重试是否产生新的 SLI 样本;
- DNS 与 HTTP 是否共用同一解析器。
Probe 是按固定间隔抽样,不是全量用户请求。一个每分钟一次的 Probe SLI,描述的是“这些地点按这些条件抽样时的可用性”,不能直接等同于所有用户请求成功率。
跨地域 SLI 也不应只做简单平均。某个关键区域持续失败,可能被多个低价值地点的成功样本稀释。更稳的做法是先保留每个地点的 SLI,再按用户分布或业务承诺决定是否聚合。
告警先确认用户症状,再补根因上下文
外部失败适合做症状告警,但单次失败通常不值得叫醒值班人员;持续时间、多地点和内部信号决定优先级。
建议按下面顺序设计:
- 外部可用性:关键目标在多个独立地点持续失败;
- 证书到期:按剩余时间和续期流程分级路由;
- DNS 失败:DNS Probe 返回异常,或 HTTP Probe 长时间卡在解析阶段;
- 入口异常:Ingress/LB 错误、重置或 Upstream 超时上升;
- 监控缺口:Exporter、Prometheus 抓取或探测调度整体失效。
告警消息至少包含目标、Module、失败地点、持续时间、最近状态码、DNS/TLS 阶段结果、Ingress 与应用 Dashboard 链接。不要把响应体、Token 或完整 URL Query 放进通知。
更稳的关联方式是:
- 外部多个地点失败,Ingress 和应用都没有对应流量:优先查入口之前;
- 外部失败,Ingress 入口错误上升,应用无请求:优先查路由和 Upstream;
- 外部失败,Ingress 已转发且应用错误上升:进入应用与依赖调查;
- 单地点失败,其他地点和内部信号正常:先降级为地域或探测器调查。
完整的 SLO Burn Rate、PrometheusRule 和 Alertmanager 路由属于告警工程。站内的监控告警策略可以继续补齐多窗口与通知治理。
Dashboard 按访问路径排列
入口看板应从用户侧向应用侧展开,让值班人员按一次请求经过的顺序阅读,而不是按组件 Logo 分区。
推荐顺序:
- 外部
probe_success、端到端耗时与多地点地图; - DNS、Connect、TLS、Processing、Transfer 分阶段耗时;
- 证书剩余天数、HTTP 状态码和重定向次数;
- CDN/WAF/LB 的请求、错误、连接与健康 Target;
- Ingress 的入口错误、Upstream 错误和 Upstream 时延;
- 应用 RED、相关 Trace 与日志入口;
- Probe、Exporter 与 Prometheus 抓取链自身健康。
这张看板与Go 服务指标中的应用 RED 看板互相链接,不需要复制所有应用和 Kubernetes 面板。入口页负责缩小故障层,专用页负责深挖。
安全与成本从目标数量开始算
Blackbox Exporter 能访问任意目标的能力本身就是安全边界;探测规模则由目标、Module、地点和频率共同相乘。
先处理安全:
- 不把
/probe暴露到公网,限制只有 Prometheus 或受控调度器可以访问; - 目标来自评审过的 Service Discovery 或静态白名单,不接受任意用户输入;
- 用网络策略和出口策略限制 Exporter 可访问的地址,特别是云元数据与管理网段;
- 认证 Header、账号、Token 与客户端证书进入 Secret,并使用最小权限和轮换;
- 不把凭据放进 Target URL;Target 常被写入
instanceLabel、查询和告警; - 不记录敏感响应体,调试日志和失败页面也要按敏感数据处理;
- 合成账号与真实用户隔离,禁止触发支付、通知和不可逆操作。
再算成本。粗略的采集规模是:
目标数 × Module 数 × 探测点数 × 单位时间探测次数 × 每次 Probe 的时序数
除此之外,还有公网流量、DNS 查询、目标端日志、合成数据清理、Trace 与第三方托管探测费用。把间隔从 60 秒改成 10 秒,样本和请求量大致会变成 6 倍,但定位能力未必同步提高。
成本治理可以从四件事开始:
- 核心路径高频,低优先级页面低频;
- 只在确有用户分布或故障隔离价值时增加地点;
- 为合成 Trace 设置独立采样与保留策略;
- 定期删除无 Owner、无告警用途、长期不看的目标和 Module。
一次 TLS 故障怎样被三层证据定位
三层证据的价值,是把“公网打不开”缩小为一个确定阶段,而不是让每层各自发一条重复告警。
【示例场景·合成数据】
某公开 API 在两个外部地点连续失败,集群内部看板仍然正常。
调查顺序如下:
- 两个外部地点的
probe_success同时变为 0; - DNS Lookup 与 TCP Connect 成功,TLS 阶段失败;
- 外部证书到期时间已经早于当前时间;
- 集群内使用内部域名的 Probe 仍成功;
- Ingress 与应用没有新增 5xx,应用请求量从公网侧下降;
- 入口控制面显示公开 LB 的证书续期没有完成。
结论是公开 TLS 终止点故障,不是 Pod、Service 或应用处理故障。只读取集群 Secret,会因为线上实际证书位于 LB 而漏掉问题;只看 probe_success=0,又无法解释失败阶段。
小结
外部可观测性的目标不是再加一张“网站是否在线”面板,而是建立从用户症状到入口阶段、再到应用根因的证据链。
- 应用、Ingress/LB 与 Blackbox 各自覆盖不同路径,不能互相替代;
- DNS 要区分集群内与公网,TLS 要验证用户实际访问的终止点;
- Multi-target Pattern 由 Prometheus 传入 Target 和 Module,Exporter 执行探测;
probe_success=1只代表 Module 条件成立,不能泛化成业务成功;- 多地点应提供独立网络与 DNS 证据,并单独监控探测器自身;
- 多步骤合成事务使用专用 Runner,并控制权限、副作用、清理和数据污染;
- 外部 SLI 要定义 Good、Valid、地点、缺失与重试,不能把抽样等同于全量请求;
- 告警按持续窗口与多地点确认,安全和成本按目标、Module、地点与频率治理。
落地前按产品核对
以下能力依赖具体版本、控制器、云产品或探测服务,正文没有把它们写成跨环境通用事实。
- 确认目标环境的 Ingress Controller 是否分别暴露入口生成的状态码、Upstream 状态码、Upstream 时延、TLS 握手错误和配置 Reload 结果;指标名与标签必须按实际版本确认。
- 确认托管 LB 是否区分 LB 侧 4xx/5xx 与 Target 侧 4xx/5xx,以及健康 Target、TLS 协商错误和缺失数据各自是什么语义;不同云产品不能直接套用同一查询。
- 核对部署版本的 Blackbox Exporter 支持哪些 Module 选项、HTTP 内容匹配方式、IPv4/IPv6 回退策略,以及重定向链上的 TLS 与阶段耗时怎样暴露;升级前应对照当前配置 Schema。
- 核对外部探测点实际使用的递归 DNS、网络出口、重试策略与可用区独立性;托管探测服务标注“多地域”不必然代表故障域完全独立。
- 检查合成 Runner 的重试、截图、响应体和 Trace 默认保留策略;发布前确认它不会记录凭据或生产敏感数据。
公开参考
下列公开资料用于核对 Multi-target Pattern、Probe 指标、Kubernetes 入口与告警原则;具体字段仍以部署版本为准。