SKILL
website-crawler-api
Website crawler API: crawl a whole site to clean Markdown, map every URL from its sitemap, or batch extract up to 1,000 URLs in one job, with a status URL or a signed webhook. Map 1 credit; crawl and batch 1 credit per successful page (2 on ultra), failed pages free; robots.txt obeyed.
原文 · 译文尚未补齐适用对象：软件开发与测试。自动收录 · 待核查。
在 Cursor 中使用
该组合的专门教程待补充，尚未核实适配。
准备条件
- 本条仅收录原作者的技能元数据；请阅读完整说明，确认依赖、许可与使用条件。
选择已有说明的 AI 工具，或在页面加载后保存待办及提出教程请求。
查看原作者说明 ↗