输入处理#

每个模型都可以通过 INPUT_REGISTRYMULTIMODAL_REGISTRY 覆盖 vLLM 的 输入处理管道 的部分内容。

目前,此机制仅在 多模态 模型中使用,用于预处理除输入提示之外的多模态输入数据,但可以在需要时扩展到纯文本语言模型。

指南#

模块内容#

LLM 引擎输入#

注册表#