SKILL

optimization-hqq

无需校准数据的 LLM 半二次量化。适用于在无需校准数据集的情况下将模型量化为 4/3/2 位精度、快速量化工作流,或使用 vLLM 或 HuggingFace Transformers 部署时。

机器翻译
查看英文原文

Half-Quadratic Quantization for LLMs without calibration data. Use when quantizing models to 4/3/2-bit precision without needing calibration datasets, for fast quantization workflows, or when deploying with vLLM or HuggingFace Transformers.

适用对象:学习与科研。自动收录 · 待核查。

在 Cursor 中使用

该组合的专门教程待补充,尚未核实适配。

准备条件

  • 本条仅收录原作者的技能元数据;请阅读完整说明,确认依赖、许可与使用条件。

选择已有说明的 AI 工具,或在页面加载后保存待办及提出教程请求。

查看原作者说明 ↗