Pod Pending 排查树:先分相位,别把 Running 故障当调度问题

Pod Pending 排查树:先分相位,别把 Running 故障当调度问题

Hello,我是小兔大白糖。 群里一说「Pod 起不来」,下一句经常是「是不是 Pending?」——现场打开一看,可能是调度 Pending,也可能早已 Running 却 NotReady,甚至在 CrashLoopBackOff。写成这篇,给要做 Kubernetes 排障选型 / 值班心智模型 的初中级后端同学:不讲某家集群的定档工单,只讲业界通用、公开可核对的排查框架。对象基础可先扫一眼 K8s 入门导读。

Pod Pending 排查先分相位:真调度 Pending 走资源树;Running/CrashLoop 另案处理。

说明:文中相位名、Events 关键词与排查分支,对齐公开 Kubernetes 文档里常见的调度与卷绑定语义;示例命令为教学脱敏示意。停车场闸机是比喻,解释「进不了场 vs 进场后亮灯」,解释不了扩展调度器插件细节。

估计阅读时间:10 分钟


目录


为什么现在要关心这件事?

工单标题写「Pending」,真实相位常常不是 Pending——先分桶,再动手。

值班里「起不来」至少要拆成三桶:

真实状态用户口头你该看的
Pending,长时间无 Node起不来调度:资源 / 亲和 / 污点 / PVC
Running,但 Ready=false起不来探活、依赖、CPU 限流(throttle)
CrashLoopBackOff起不来启动命令、配置、OOMKilled

三桶混治的代价很实在:在 Already Running 的 Pod 上狂改 requests,Events 里没有 FailedScheduling,却把容量账本改歪;反过来,真 Pending 时去调探活超时,闸机外的车永远进不了场。

三相分桶:Pending(调度/卷)、NotReady(进场后探活/限流)、CrashLoop(反复熄火)
三相分桶:Pending(调度/卷)、NotReady(进场后探活/限流)、CrashLoop(反复熄火) · 点击查看 SVG 原图

心智模型是什么:闸机外还是进场后?

Pending = 还在闸机外;NotReady / CrashLoop = 已进场,引擎或体检出问题。

把节点想成停车场:

  • Pending:车还在闸机外。车位(可分配资源 / allocatable)、通行证(nodeSelector / affinity)、地锁(PVC 绑定)任一不过,就进不了场。
  • NotReady:车已进场,但引擎灯亮——油不够被节流(CPU throttle)、体检不过(liveness / readiness probe)。
  • CrashLoopBackOff:点火反复熄火——进程起不来或立刻退出。

类比局限写清楚:闸机管调度与卷等前置条件;解释不了运行时 cgroup 节流细节,也解释不了业务 busy loop 为什么把 CPU 打满。进场后的灯,要另开 Ready / 探活树。

闸机外 Pending vs 进场后 NotReady/CrashLoop:调度卡点与运行故障分树排查
闸机外 Pending vs 进场后 NotReady/CrashLoop:调度卡点与运行故障分树排查 · 点击查看 SVG 原图

Pending 管什么、不管什么?

公开语义下,Pending 主要表示:尚未调度到可运行节点,或仍在等待卷绑定等调度前置条件。

三条硬规则,删掉比喻也能复述:

  1. 先确认相位:Pending ≠ CrashLoop ≠ NotReady。口头「起不来」不等于 kubectl 里的 Pending。
  2. 调度看 request,不看「我觉得 limit 够不够」:装不进节点,是 Σ request 与节点 allocatable 的关系;limit 再大,也不替你多订一座。
  3. Events 原文优先于猜:FailedScheduling、PVC 未绑定、缺少 toleration 等,会直接写在 describe 的 Events 里。

和后端日常对照:

Kubernetes后端类比
Node allocatable连接池 / 线程池能登记的总槽位
Pod requests启动时预占的槽位(订座)
Pod limits运行时天花板(CPU 多半 throttle;内存顶到易 OOMKill)
FailedScheduling: Insufficient cpu/memory池子满了,新连接进不来——不是「已进池但业务超时」

默认调度器下:可调度的关键账本是 request。把 limit 当「能不能排上队」的依据,是常见误判。


Pending 原因树怎么走?

确认相位是 Pending 之后,按 A–E 分支走;优先看资源装不下与 PVC,再动亲和与污点。

Pending 原因树:资源、亲和、污点、PVC、其他闸门
Pending 原因树:资源、亲和、污点、PVC、其他闸门 · 点击查看 SVG 原图
分支常见信号(Events / 状态)下一步代价提醒
A. 资源装不下FailedScheduling:Insufficient cpu / Insufficient memory降 request、扩节点、挪工作负载乱抬 request 会挤走别人;只抬 limit 不解决排不上座
B. 亲和 / 选择器nodeSelector / affinity 无匹配节点放宽规则或补节点标签过宽会破坏隔离与故障域设计
C. 污点节点 taint,Pod 无对应 toleration加容忍,或去掉不该有的污点乱容忍可能把负载打到专用节点
D. 存储PVC Pending / 卷不可用查 StorageClass、可用区、配额跨区错误绑定会一直等;硬改可能丢数据假设
E. 其他闸门优先级与抢占、RuntimeClass、扩展调度器严格按 Events 跟,勿盲猜扩展器行为因集群而异,以公开文档与 Events 为准

教学顺序建议:A → D → B/C → E。多数后端服务的 Pending,停在 A 或 D 就够日常;B/C/E 出现频率低,但 Events 写得很直白时别绕开。


示意命令先看什么?

先 get -o wide 看相位与 Node,再 describe 盯 Events;挂了卷再查 PVC。确认 Pending 后再改 requests。

教学示意(脱敏,非某集群 runbook):

kubectl get pod NAME -o wide
kubectl describe pod NAME          # 盯 Events
kubectl get pvc                    # 若挂了卷
# 确认 Pending 后再改 requests;不要先盲目加 limit

读 Events 时优先抓原文关键词,而不是脑补「资源大概不够」。FailedScheduling 与 PVC 相关事件,往往比猜 request 数字更省时间。


假 Pending 叙事有哪些?

Pending 树走完仍「起不来」,多半该开二号树:Ready / 探活 / 应用忙等——相位通常已是 Running。

素材与现场里常见、不会表现为调度 Pending 的几类:

现象真实相位倾向误治方式该查什么
select + default busy loop → CPU 打满 → throttle → 探活超时Running / NotReady 循环加节点、降别人的 request应用忙等、CPU limit 与 throttle、探活参数
request 过小,被挤到弱节点,后来变慢当初调度成功;慢是运行时只当「还在 Pending」加资源limit / throttle / 节点画像;与「排不上座」分治
探活缺 timeoutSeconds / failureThreshold 等,误杀容器Running 循环重启当 Pending 改亲和probe 配置与依赖就绪

硬规则人话:闸机问题用闸机树;引擎灯用引擎树。 混治的副作用是:容量账本被改乱,真正的探活误杀却还在。


该怎么选?一句话结论

  1. 工单标题带上真实相位 + Events 摘要——「Pending / Insufficient memory」比「起不来」可行动一个数量级。
  2. 确认 Pending 后走 A–E;优先 requests 与 PVC,再碰亲和 / 污点 / 扩展闸门。
  3. busy loop / 探活 / NotReady 另开 Ready 树,勿与 Pending 混治。
  4. 改资源要同时算:节点 allocatable、同 Pod 其它容器的 request 总和;只加 limit 解决不了排不上座。
  5. 验收看两端:相关 Events 消失,且 Ready=True——不只看「重启日志里暂时没报错」。

把三相分桶和 A–E 树装进肌肉记忆,下次群里再喊「Pending」,你可以先问一句:「kubectl get 里相位到底是什么?」——这句话本身,就是最好的选型结论。