输入处理管道#
输入数据传递给
AsyncLLMEngine）。如果需要，对数据进行标记化。
使用
INPUT_REGISTRY.process_input处理输入。例如，添加占位符标记以保留用于多模态嵌入的 KV 缓存。
将处理后的输入发送到
ExecutorBase。通过
WorkerBase将输入分发到ModelRunnerBase。如果数据包含多模态数据，请使用
MULTIMODAL_REGISTRY.map_input将其转换为关键字参数。例如，将
PIL.Image.Image输入转换为视觉模型的像素值。