添加多模态插件

添加多模态插件#

本文档教你如何向 vLLM 添加新的模态。

vLLM 中的每个模态都由一个 MultiModalPlugin 表示,并注册到 MULTIMODAL_REGISTRY。为了让 vLLM 识别新的模态类型,你必须创建一个新的插件,然后将其传递给 register_plugin()

本文档的其余部分详细介绍了如何定义自定义 MultiModalPlugin

备注

本文档正在编写中。