SKILL
optimization-bitsandbytes
将大语言模型量化为 8 位或 4 位，实现 50-75% 的内存减少且精度损失极小。适用于 GPU 内存受限、需要容纳更大模型或希望加快推理时。支持 INT8、NF4、FP4 格式、QLoRA 训练和 8 位优化器。可与 HuggingFace Transformers 配合使用。
机器翻译查看英文原文
Quantizes LLMs to 8-bit or 4-bit for 50-75% memory reduction with minimal accuracy loss. Use when GPU memory is limited, need to fit larger models, or want faster inference. Supports INT8, NF4, FP4 formats, QLoRA training, and 8-bit optimizers. Works with HuggingFace Transformers.
适用对象：学习与科研。自动收录 · 待核查。
在 Cursor 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗