SKILL
data-processing-nemo-curator
GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.
原文 · 暂不支持此原文语言适用对象：学习与科研。自动收录 · 待核查。
在 Codex 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗