SKILL
emerging-techniques-long-context
使用 RoPE、YaRN、ALiBi 和位置插值技术扩展 Transformer 模型的上下文窗口。适用于处理长文档(32k-128k+ 词元)、将预训练模型扩展到原始上下文限制之外,或实现高效位置编码时。涵盖旋转嵌入、注意力偏置、插值方法以及 LLM 的外推策略。
机器翻译查看英文原文
Extend context windows of transformer models using RoPE, YaRN, ALiBi, and position interpolation techniques. Use when processing long documents (32k-128k+ tokens), extending pre-trained models beyond original context limits, or implementing efficient positional encodings. Covers rotary embeddings, attention biases, interpolation methods, and extrapolation strategies for LLMs.
适用对象:学习与科研。自动收录 · 待核查。
在 Claude Code 中使用
该组合的专门教程待补充,尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据;请阅读完整说明,确认依赖、许可与使用条件。
选择已有说明的 AI 工具,或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗