SKILL
emerging-techniques-knowledge-distillation
利用从教师模型到学生模型的知识蒸馏来压缩大型语言模型。适用于部署保持性能的较小模型、将 GPT-4 能力迁移到开源模型，或降低推理成本。涵盖温度缩放、软目标、反向 KLD、logit 蒸馏和 MiniLLM 训练策略。
机器翻译查看英文原文
Compress large language models using knowledge distillation from teacher to student models. Use when deploying smaller models with retained performance, transferring GPT-4 capabilities to open-source models, or reducing inference costs. Covers temperature scaling, soft targets, reverse KLD, logit distillation, and MiniLLM training strategies.
适用对象：学习与科研。自动收录 · 待核查。
在 Claude Desktop 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗