使用 XPU 安装

使用 XPU 安装#

vLLM 最初支持在英特尔 GPU 平台上进行基本的模型推理和服务。

目录：

  1. 要求

  2. 使用 Dockerfile 快速入门

  3. 从源代码构建

要求#

  • 操作系统：Linux

  • 支持的硬件：英特尔数据中心 GPU（英特尔 ARC GPU 正在开发中）

  • OneAPI 要求：oneAPI 2024.1

使用 Dockerfile 快速入门#

$ docker build -f Dockerfile.xpu -t vllm-xpu-env --shm-size=4g .
$ docker run -it \
             --rm \
             --network=host \
             --device /dev/dri \
             -v /dev/dri/by-path:/dev/dri/by-path \
             vllm-xpu-env

从源代码构建#

  • 首先，安装所需的驱动程序和英特尔 OneAPI 2024.1 或更高版本。

  • 其次，安装用于构建 vLLM XPU 后端的 Python 包：

$ source /opt/intel/oneapi/setvars.sh
$ pip install --upgrade pip
$ pip install -v -r requirements-xpu.txt

  • 最后，构建并安装 vLLM XPU 后端：

$ VLLM_TARGET_DEVICE=xpu python setup.py install

备注

  • FP16 是当前 XPU 后端的默认数据类型。BF16 数据类型将在未来得到支持。

目录