把大模型跑成高并发服务,靠 PagedAttention 管显存、连续批处理接请求,对外直接是 OpenAI 兼容接口。
软件信息
项目说明
站内编辑vLLM 是把大模型变成在线推理服务的引擎,最早在加州大学伯克利分校 Sky Computing Lab 做出来,现在由两千多名贡献者维护。目标很直接:同一张显卡,让它同时服务更多人。
吞吐来自显存管理。它用 PagedAttention 把注意力所需的 KV 缓存切成固定大小的块按需分配,避开了预留连续显存造成的浪费;配套还有连续批处理、分块预填充和前缀缓存,新请求进来不必等整批跑完就能插进去。
部署侧提供的东西比较全:可以直接加载 Hugging Face 上的模型,支持张量并行、流水线并行等多卡切分,量化覆盖 FP8、INT8/INT4、GPTQ、AWQ、GGUF 等格式,还支持投机解码和多 LoRA。对外是 OpenAI 兼容接口,另有 Anthropic Messages API 和 gRPC。支持的模型架构超过 200 种,MoE、多模态、embedding 模型都在内。
代价是门槛。它依赖 CUDA 或 ROCm 环境,装完往往还要调并行度、显存占用比例这些参数,70b 级别的模型基本得上多卡。如果只是在自己机器上跑一个模型聊天,Ollama 更省事;要对外提供接口、撑并发,才是它的位置。
下载 vLLM
暂无可下载文件,可前往 GitHub Releases 查看。
点击平台名称展开文件列表;所有安装包均直接来自上游 GitHub Release,未经修改,下载页可选官方原链或加速线路。
文件格式怎么选?
常见文件格式
.exe / .msi:Windows 安装包,双击运行安装;.dmg:macOS 安装包,打开后拖入「应用程序」;.pkg:macOS 安装向导,双击按提示安装;.deb / .rpm:Linux 安装包(Debian / RedHat 系);.AppImage:Linux 免安装版,赋予执行权限后直接运行;.zip / .7z:压缩包,解压后使用(便携版 / 免安装);.tar.gz:Linux 源码包或便携版,解压后按 README 操作;.apk:Android 安装包,需允许「未知来源」再安装;.crx / .xpi:Chrome / Edge / Firefox 浏览器扩展;.spk / .fpk:群晖 / 威联通 NAS 套件,在套件中心手动安装。
常见架构与标识
x64 / amd64:最常见的 64 位电脑(Intel / AMD);arm64 / aarch64:ARM 架构(Apple 芯片、骁龙本、树莓派);x86 / i386:老旧的 32 位系统;universal:同时包含 Intel 与 Apple 芯片,体积更大;Setup / Installer:标准安装版,带安装向导;Portable / Green:绿色免安装,解压即用,不写注册表。
※大部分软件都提供对应系统的专属安装包,下载后直接安装即可;个别项目只发 ZIP 压缩包,需要解压后手动运行。文件名里带 Setup / Installer 的是安装版,带 Portable / Green 的是免安装版。



