trl-training
使用 TRL（Transformers Reinforcement Learning）对大语言模型进行后训练——包括 SFT、DPO、GRPO、KTO 以及奖励模型训练。适用于使用 TRL Python API 或 trl CLI 编写或调试训练代码。
机器翻译查看英文原文
Post-train LLMs with TRL (Transformers Reinforcement Learning) — SFT, DPO, GRPO, KTO, and reward-model training. Use when writing or debugging training code with the TRL Python API or the trl CLI.
适用对象：软件开发与测试。自动收录 · 待核查。
原作者说明节选
从固定版本的 SKILL.md 提取，保留原文语言。以下内容属于作者说明，本站尚未验证安装、兼容或运行结果。
查看英文原文
原文涵盖的主题
- TRL
- Dataset formats
- SFT: the fields that matter
- GRPO: online RL
- CLI
Each method pairs a Trainer class with a Config dataclass. Configs extend transformers.TrainingArguments, so all of its arguments work in any trainer config. | Trainer | Dataset type | |---|---| | SFTTrainer | language modeling or prompt-completion | | DPOTrainer | preference (chosen/rejected pairs) | | GRPOTrainer | prompt-only + reward function(s) | | DistillationTrainer | prompt-only + a teacher model (on-policy distillation) | | KTOTrainer | unpaired preference (per-sample bool label) | | RewardTrainer | preference (chosen/rejected pairs); trains a scalar reward model, not a policy | Many more trainers (OnlineDPO, ORPO, CPO, GKD, …) live in trl.experimental with unstable APIs: https://huggingface.co/docs/trl/experimentaloverview Pass model as a string and route loading kwargs through modelinitkwargs (e.g. {"dtype": "bfloat16", "attnimplementation": "kernels-community/flash-attn2"}) instead of calling frompretrained yourself. The tokenizer/processor is inferred from the model; pass processingclass only when it differs. For LoRA, pass peftconfig=LoraConfig(...). Conversational: {"messages": [{"role": ..., "content": ...}]} (language modeling) or {"prompt": [...], "completion": [.
这里只展示节选，请以完整原文和当前要求为准。
- 来源仓库
- huggingface/skills
- 源文件
- skills/trl-training/SKILL.md
- 固定版本
- 25910b3d0ba31a2ba102f901cdc9e008c278a69c
来源与内容状态
本条为自动发现的元数据，尚未完成人工文档核查；适用性与运行结果待核查。
原作者：huggingface/skills · 原作者仓库元数据。文档核查：未核查。最近来源检查：2026-11-09T16:01:02.774Z。
分类由名称、说明与路径规则生成，分类不代表已核实适配。
许可与权利归属
Apache-2.0。第三方内容及版权归原作者，使用条件以原文为准。
许可原文 ↗本站没有因同步、复制或用户自报成功而将资源标为运行验证通过。
限制与注意事项
- 元数据收录不代表本站已经安装、适配、实测或进行安全审查。