llm-wiki wiki · entities 2026-06-14

llm-d P/D Utils 是面向 Prefill/Decode 分离部署的 skills/scripts 工具集,用于 preflight、GPU topology、RDMA/NCCL/network/NIXL 等诊断。 详见 src-llm-d-pd-utils-architecture

架构边界

它不是 serving controller,而是 P/D 部署前后的诊断工具箱。

什么时候用

场景 判断
需要 P/D diagnostics 能力 适合,llm-d P/D Utils 正是这一层的代表项目。
需要和 Kubernetes API / controller / runtime 集成 适合,它的主要价值来自 Kubernetes-native 工作流。
需要替代相邻层全部职责 不适合,应和 llm-d, disaggregated-serving 组合。

核心组件

选型提示

把 llm-d P/D Utils 放在 P/D diagnostics 维度评估:先看它输入什么对象、输出什么对象,再看它是否会进入请求路径、调度路径、节点路径或 CI/实验路径。这个边界比 star 数更能决定它是否适合当前平台。