vLLM 基准套件

vLLM 基准套件#

vLLM 包含两套基准：

  • 性能基准: 高频率地（当 vLLM 的拉取请求（简称 PR）被合并时）基准测试 vLLM 在各种工作负载下的性能。有关最新性能结果，请参阅 vLLM 性能仪表板。

  • 夜间基准: 当 vLLM 有重大更新（例如，升级到新版本）时，将 vLLM 的性能与替代方案（tgi、trt-llm 和 lmdeploy）进行比较。最新结果可在 vLLM GitHub README 中找到。

触发基准测试#

可以通过向 vLLM 提交 PR 并为 PR 添加 perf-benchmarks 和 nightly-benchmarks 标签来触发性能基准测试和夜间基准测试。

备注

有关基准环境、工作负载和指标的详细说明，请参阅 vLLM 性能基准测试说明 和 vLLM 夜间基准测试说明。

目录