SKILL
inference-serving-vllm
使用 vLLM 的 PagedAttention 和连续批处理提供高吞吐 LLM 服务。适用于部署生产 LLM API、优化推理延迟或吞吐，或在 GPU 显存有限时提供模型服务。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）和张量并行。
译文已校对查看英文原文
Serves LLMs with high throughput using vLLM's PagedAttention and continuous batching. Use when deploying production LLM APIs, optimizing inference latency/throughput, or serving models with limited GPU memory. Supports OpenAI-compatible endpoints, quantization (GPTQ/AWQ/FP8), and tensor parallelism.
适用对象：学习与科研。自动收录 · 待核查。
在 Cursor 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗