SKILL

emerging-techniques-long-context

使用 RoPE、YaRN、ALiBi 和位置插值技术扩展 Transformer 模型的上下文窗口。适用于处理长文档(32k-128k+ 词元)、将预训练模型扩展到原始上下文限制之外,或实现高效位置编码时。涵盖旋转嵌入、注意力偏置、插值方法以及 LLM 的外推策略。

机器翻译
查看英文原文

Extend context windows of transformer models using RoPE, YaRN, ALiBi, and position interpolation techniques. Use when processing long documents (32k-128k+ tokens), extending pre-trained models beyond original context limits, or implementing efficient positional encodings. Covers rotary embeddings, attention biases, interpolation methods, and extrapolation strategies for LLMs.

适用对象:学习与科研。自动收录 · 待核查。

在 Claude Code 中使用

该组合的专门教程待补充,尚未核实适配。

准备条件

  • 本条仅收录原作者的技能元数据;请阅读完整说明,确认依赖、许可与使用条件。

选择已有说明的 AI 工具,或在页面加载后保存待办及提出教程请求。

查看原作者说明 ↗