使用 KServe 部署

vLLM 可以与 KServe 部署在 Kubernetes 上，以实现高度可扩展的分布式模型服务。

有关使用 vLLM 与 KServe 的更多详细信息，请参阅 本指南。