分离式推理把输入预填充与逐词生成放在不同实例上，两者之间需要传递 KV 缓存。AWS 介绍的推送式连接器把传输准备移出关键路径，以改善首 token 延迟和每输出 token 时间；这是原文报告的优化结果，本站未独立实测。
该功能先在连接 EFA 的 AWS Trainium 实例集群上构建和验证，随后以与加速器无关的形式贡献给 vLLM。启用时，预填充端和解码端都要使用 NixlPushConnector；原有拉取式连接器仍然保留。
选择推送式意味着更早选定解码节点。需要双向 KV 传输，或希望预填充结束后再按负载选择节点的任务，原文仍建议使用拉取式。
- 将传输准备移出预填充后的关键路径
- 提前选定解码节点，换取更早开始传输
- 推送与拉取连接器并存，按调度需求选择
本站图解 · 基于原文整理；各项不表示先后顺序，非原始截图或实测结果
分析
编辑分析：对部署分离式推理的团队，这提供了可评估的延迟优化方向，但需要权衡调度灵活性。应以自身硬件、模型、负载和网络配置测试结果为准，不能把文章中的收益当作所有部署的承诺。