跳到主要内容

vLLM

vLLM 社区

生产级推理引擎,PagedAttention 把吞吐拉满。

需代理开源Linux自托管

INSTALL

安装命令

以官方文档发布状态为准,包名与版本可能变动。

pipLinux + CUDA
pip install vllm

OFFICIAL LINKS

全部官方入口

全部指向厂商官方域名,本站不做中转与镜像。

SIMILAR

同类工具