
Hello,我是小兔大白糖。 群里一说「Pod 起不来」,下一句经常是「是不是 Pending?」——现场打开一看,可能是调度 Pending,也可能早已 Running 却 NotReady,甚至在 CrashLoopBackOff。写成这篇,给要做 Kubernetes 排障选型 / 值班心智模型 的初中级后端同学:不讲某家集群的定档工单,只讲业界通用、公开可核对的排查框架。对象基础可先扫一眼 K8s 入门导读。
Pod Pending 排查先分相位:真调度 Pending 走资源树;Running/CrashLoop 另案处理。
说明:文中相位名、Events 关键词与排查分支,对齐公开 Kubernetes 文档里常见的调度与卷绑定语义;示例命令为教学脱敏示意。停车场闸机是比喻,解释「进不了场 vs 进场后亮灯」,解释不了扩展调度器插件细节。
估计阅读时间:10 分钟
目录
- 为什么现在要关心这件事?
- 心智模型是什么:闸机外还是进场后?
- Pending 管什么、不管什么?
- Pending 原因树怎么走?
- 示意命令先看什么?
- 假 Pending 叙事有哪些?
- 该怎么选?一句话结论
为什么现在要关心这件事?
工单标题写「Pending」,真实相位常常不是 Pending——先分桶,再动手。
值班里「起不来」至少要拆成三桶:
| 真实状态 | 用户口头 | 你该看的 |
|---|---|---|
Pending,长时间无 Node | 起不来 | 调度:资源 / 亲和 / 污点 / PVC |
Running,但 Ready=false | 起不来 | 探活、依赖、CPU 限流(throttle) |
CrashLoopBackOff | 起不来 | 启动命令、配置、OOMKilled |
三桶混治的代价很实在:在 Already Running 的 Pod 上狂改 requests,Events 里没有 FailedScheduling,却把容量账本改歪;反过来,真 Pending 时去调探活超时,闸机外的车永远进不了场。
心智模型是什么:闸机外还是进场后?
Pending = 还在闸机外;NotReady / CrashLoop = 已进场,引擎或体检出问题。
把节点想成停车场:
- Pending:车还在闸机外。车位(可分配资源 / allocatable)、通行证(
nodeSelector/ affinity)、地锁(PVC 绑定)任一不过,就进不了场。 - NotReady:车已进场,但引擎灯亮——油不够被节流(CPU throttle)、体检不过(liveness / readiness probe)。
- CrashLoopBackOff:点火反复熄火——进程起不来或立刻退出。
类比局限写清楚:闸机管调度与卷等前置条件;解释不了运行时 cgroup 节流细节,也解释不了业务 busy loop 为什么把 CPU 打满。进场后的灯,要另开 Ready / 探活树。
Pending 管什么、不管什么?
公开语义下,Pending 主要表示:尚未调度到可运行节点,或仍在等待卷绑定等调度前置条件。
三条硬规则,删掉比喻也能复述:
- 先确认相位:Pending ≠ CrashLoop ≠ NotReady。口头「起不来」不等于
kubectl里的 Pending。 - 调度看 request,不看「我觉得 limit 够不够」:装不进节点,是 Σ request 与节点 allocatable 的关系;limit 再大,也不替你多订一座。
- Events 原文优先于猜:
FailedScheduling、PVC 未绑定、缺少 toleration 等,会直接写在describe的 Events 里。
和后端日常对照:
| Kubernetes | 后端类比 |
|---|---|
| Node allocatable | 连接池 / 线程池能登记的总槽位 |
Pod requests | 启动时预占的槽位(订座) |
Pod limits | 运行时天花板(CPU 多半 throttle;内存顶到易 OOMKill) |
FailedScheduling: Insufficient cpu/memory | 池子满了,新连接进不来——不是「已进池但业务超时」 |
默认调度器下:可调度的关键账本是 request。把 limit 当「能不能排上队」的依据,是常见误判。
Pending 原因树怎么走?
确认相位是 Pending 之后,按 A–E 分支走;优先看资源装不下与 PVC,再动亲和与污点。
| 分支 | 常见信号(Events / 状态) | 下一步 | 代价提醒 |
|---|---|---|---|
| A. 资源装不下 | FailedScheduling:Insufficient cpu / Insufficient memory | 降 request、扩节点、挪工作负载 | 乱抬 request 会挤走别人;只抬 limit 不解决排不上座 |
| B. 亲和 / 选择器 | nodeSelector / affinity 无匹配节点 | 放宽规则或补节点标签 | 过宽会破坏隔离与故障域设计 |
| C. 污点 | 节点 taint,Pod 无对应 toleration | 加容忍,或去掉不该有的污点 | 乱容忍可能把负载打到专用节点 |
| D. 存储 | PVC Pending / 卷不可用 | 查 StorageClass、可用区、配额 | 跨区错误绑定会一直等;硬改可能丢数据假设 |
| E. 其他闸门 | 优先级与抢占、RuntimeClass、扩展调度器 | 严格按 Events 跟,勿盲猜 | 扩展器行为因集群而异,以公开文档与 Events 为准 |
教学顺序建议:A → D → B/C → E。多数后端服务的 Pending,停在 A 或 D 就够日常;B/C/E 出现频率低,但 Events 写得很直白时别绕开。
示意命令先看什么?
先 get -o wide 看相位与 Node,再 describe 盯 Events;挂了卷再查 PVC。确认 Pending 后再改 requests。
教学示意(脱敏,非某集群 runbook):
kubectl get pod NAME -o wide
kubectl describe pod NAME # 盯 Events
kubectl get pvc # 若挂了卷
# 确认 Pending 后再改 requests;不要先盲目加 limit读 Events 时优先抓原文关键词,而不是脑补「资源大概不够」。FailedScheduling 与 PVC 相关事件,往往比猜 request 数字更省时间。
假 Pending 叙事有哪些?
Pending 树走完仍「起不来」,多半该开二号树:Ready / 探活 / 应用忙等——相位通常已是 Running。
素材与现场里常见、不会表现为调度 Pending 的几类:
| 现象 | 真实相位倾向 | 误治方式 | 该查什么 |
|---|---|---|---|
select + default busy loop → CPU 打满 → throttle → 探活超时 | Running / NotReady 循环 | 加节点、降别人的 request | 应用忙等、CPU limit 与 throttle、探活参数 |
| request 过小,被挤到弱节点,后来变慢 | 当初调度成功;慢是运行时 | 只当「还在 Pending」加资源 | limit / throttle / 节点画像;与「排不上座」分治 |
探活缺 timeoutSeconds / failureThreshold 等,误杀容器 | Running 循环重启 | 当 Pending 改亲和 | probe 配置与依赖就绪 |
硬规则人话:闸机问题用闸机树;引擎灯用引擎树。 混治的副作用是:容量账本被改乱,真正的探活误杀却还在。
该怎么选?一句话结论
- 工单标题带上真实相位 + Events 摘要——「Pending / Insufficient memory」比「起不来」可行动一个数量级。
- 确认 Pending 后走 A–E;优先 requests 与 PVC,再碰亲和 / 污点 / 扩展闸门。
- busy loop / 探活 / NotReady 另开 Ready 树,勿与 Pending 混治。
- 改资源要同时算:节点 allocatable、同 Pod 其它容器的 request 总和;只加 limit 解决不了排不上座。
- 验收看两端:相关 Events 消失,且 Ready=True——不只看「重启日志里暂时没报错」。
把三相分桶和 A–E 树装进肌肉记忆,下次群里再喊「Pending」,你可以先问一句:「kubectl get 里相位到底是什么?」——这句话本身,就是最好的选型结论。