使用 BentoML 部署

BentoML 允许你使用 vLLM 作为后端部署大型语言模型 (LLM) 服务器，该服务器公开与 OpenAI 兼容的端点。你可以将模型在本地运行，也可以将其容器化为符合 OCI 标准的镜像并在 Kubernetes 上部署。

有关详细信息，请参阅教程 vLLM 在 BentoML 文档中的推理。