使用 VLM

使用 VLM#

vLLM 为视觉语言模型 (VLM) 提供实验性支持。请参阅 此处支持的 VLM 列表。本文档将向你展示如何使用 vLLM 运行和服务这些模型。

重要

我们正在积极迭代 VLM 支持。预计在即将发布的版本中，VLM 使用和开发将发生重大更改，恕不另行弃用。

我们正在不断改进 VLM 的用户和开发者体验。如果你有任何反馈或功能请求，请 在 GitHub 上打开一个问题。

离线推理#

单图像输入#

LLM 类可以像语言专用模型一样实例化。

llm = LLM(model="llava-hf/llava-1.5-7b-hf")

备注

我们在 0.5.1 版本中删除了所有与视觉语言相关的 CLI 参数。这是一个重大更改，因此请更新你的代码以遵循上述代码段。具体来说，image_feature_size 现在无法指定，因为我们现在为每个模型在内部计算它。

要将图像传递给模型，请注意 vllm.inputs.PromptInputs 中的以下内容：

  • prompt: 提示应遵循 HuggingFace 上记录的格式。

  • multi_modal_data: 这是一个字典，遵循 vllm.multimodal.MultiModalDataDict 中定义的模式。

# Refer to the HuggingFace repo for the correct format to use
prompt = "USER: <image>\nWhat is the content of this image?\nASSISTANT:"

# Load the image using PIL.Image
image = PIL.Image.open(...)

# Single prompt inference
outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {"image": image},
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

# Inference with image embeddings as input
image_embeds = torch.load(...) # torch.Tensor of shape (1, image_feature_size, hidden_size of LM)
outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {"image": image_embeds},
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

# Batch inference
image_1 = PIL.Image.open(...)
image_2 = PIL.Image.open(...)
outputs = llm.generate(
    [
        {
            "prompt": "USER: <image>\nWhat is the content of this image?\nASSISTANT:",
            "multi_modal_data": {"image": image_1},
        },
        {
            "prompt": "USER: <image>\nWhat's the color of this image?\nASSISTANT:",
            "multi_modal_data": {"image": image_2},
        }
    ]
)

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

在 examples/offline_inference_vision_language.py 中可以找到代码示例。

多图像输入#

多图像输入仅支持部分 VLM，如 此处 所示。

要为每个文本提示启用多个多模态项，你必须为 LLM 类设置 limit_mm_per_prompt。

llm = LLM(
    model="microsoft/Phi-3.5-vision-instruct",
    trust_remote_code=True,  # Required to load Phi-3.5-vision
    max_model_len=4096,  # Otherwise, it may not fit in smaller GPUs
    limit_mm_per_prompt={"image": 2},  # The maximum number to accept
)

你可以传入一个图像列表，而不是单个图像。

# Refer to the HuggingFace repo for the correct format to use
prompt = "<|user|>\n<image_1>\n<image_2>\nWhat is the content of each image?<|end|>\n<|assistant|>\n"

# Load the images using PIL.Image
image1 = PIL.Image.open(...)
image2 = PIL.Image.open(...)

outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {
        "image": [image1, image2]
    },
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

在 examples/offline_inference_vision_language_multi_image.py 中可以找到代码示例。

在线推理#

OpenAI Vision API#

你可以使用 vLLM 的 HTTP 服务器来提供视觉语言模型，该服务器与 OpenAI Vision API 兼容。

以下是如何使用 vLLM 的 OpenAI 兼容 API 服务器启动相同的 microsoft/Phi-3.5-vision-instruct 的示例。

vllm serve microsoft/Phi-3.5-vision-instruct --max-model-len 4096 \
  --trust-remote-code --limit-mm-per-prompt image=2

重要

由于 OpenAI Vision API 基于 Chat Completions API，因此启动 API 服务器 需要 使用聊天模板。

虽然 Phi-3.5-Vision 带有聊天模板，但对于其他模型，如果模型的标记器没有聊天模板，你可能需要提供一个。聊天模板可以根据模型的 HuggingFace 仓库中的文档推断。例如，LLaVA-1.5 (llava-hf/llava-1.5-7b-hf) 需要一个聊天模板，可以在 此处 找到。

要使用该服务器，你可以像以下示例一样使用 OpenAI 客户端：

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# Single-image input inference
image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

chat_response = client.chat.completions.create(
    model="microsoft/Phi-3.5-vision-instruct",
    messages=[{
        "role": "user",
        "content": [
            # NOTE: The prompt formatting with the image token `<image>` is not needed
            # since the prompt will be processed automatically by the API server.
            {"type": "text", "text": "What’s in this image?"},
            {"type": "image_url", "image_url": {"url": image_url}},
        ],
    }],
)
print("Chat completion output:", chat_response.choices[0].message.content)

# Multi-image input inference
image_url_duck = "https://upload.wikimedia.org/wikipedia/commons/d/da/2015_Kaczka_krzy%C5%BCowka_w_wodzie_%28samiec%29.jpg"
image_url_lion = "https://upload.wikimedia.org/wikipedia/commons/7/77/002_The_lion_king_Snyggve_in_the_Serengeti_National_Park_Photo_by_Giles_Laurent.jpg"

chat_response = client.chat.completions.create(
    model="microsoft/Phi-3.5-vision-instruct",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "What are the animals in these images?"},
            {"type": "image_url", "image_url": {"url": image_url_duck}},
            {"type": "image_url", "image_url": {"url": image_url_lion}},
        ],
    }],
)
print("Chat completion output:", chat_response.choices[0].message.content)

在 examples/openai_vision_api_client.py 中可以找到完整的代码示例。

备注

默认情况下，通过 http url 获取图像的超时时间为 5 秒。你可以通过设置环境变量来覆盖此值：

export VLLM_IMAGE_FETCH_TIMEOUT=<timeout>

备注

你无需在 API 请求中格式化提示，因为服务器会处理它。

目录