You are viewing the latest developer preview docs. Click here to view docs for the latest stable release.
开始使用
服务
模型
量化
自动前缀缓存
性能基准
开发者文档
社区
vLLM 公开了一些指标,可用于监控系统的运行状况。这些指标通过 vLLM OpenAI 兼容 API 服务器上的`/metrics` 端点公开。
公开以下指标: