环境变量

vLLM 使用以下环境变量来配置系统：

警告

请注意，VLLM_PORT 和 VLLM_HOST_IP 设置了 vLLM 内部使用 的端口和 IP。它不是 API 服务器的端口和 IP。如果你使用 --host $VLLM_HOST_IP 和 --port $VLLM_PORT 来启动 API 服务器，它将无法工作。

所有 vLLM 使用的环境变量都以 VLLM_ 为前缀。Kubernetes 用户需要注意：请不要将服务命名为 vllm，否则 Kubernetes 设置的环境变量可能会与 vLLM 的环境变量冲突，因为 Kubernetes 为每个服务设置环境变量，以大写的服务名称作为前缀。