SKILL

model-architecture-torchtitan

使用torchtitan提供PyTorch原生的分布式LLM预训练，支持4D并行（FSDP2、TP、PP、CP）。在从8到512+个GPU的规模上使用Float8、torch.compile和分布式检查点预训练Llama 3.1、DeepSeek V3或自定义模型时使用。

机器翻译

查看英文原文

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

适用对象：学习与科研。自动收录 · 待核查。

在 Cursor 中使用

该组合的专门教程待补充，尚未核实适配。

准备条件

本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。

选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。

查看原作者说明 ↗