SKILL
tokenization-huggingface-tokenizers
针对研究和生产优化的快速分词器。基于 Rust 的实现可在不足 20 秒内处理 1GB 文本。支持 BPE、WordPiece 和 Unigram 算法，可训练自定义词表、跟踪对齐关系、处理填充与截断，并与 transformers 无缝集成。适用于需要高性能分词或训练自定义分词器时。
译文已校对查看英文原文
Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms. Train custom vocabularies, track alignments, handle padding/truncation. Integrates seamlessly with transformers. Use when you need high-performance tokenization or custom tokenizer training.
适用对象：学习与科研。自动收录 · 待核查。
在 Cursor 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗