data-scraper-agent

原文涵盖的主题

• 数据抓取代理
• 何时激活
• 核心概念
• 三层架构
• 免费技术栈
• AI模型后备链
• 批量API调用以提高效率
• 工作流程

构建一个生产就绪、AI驱动的数据收集代理，适用于任何公共数据源。 按计划运行，使用免费LLM丰富结果，存储到数据库，并随时间推移不断改进。 技术栈：Python · Gemini Flash (免费) · GitHub Actions (免费) · Notion / Sheets / Supabase 用户想要抓取或监控任何公共网站或API 用户说"构建一个检查...的机器人"、"为我监控X"、"从...收集数据" 用户想要跟踪工作、价格、新闻、仓库、体育比分、事件、列表 用户询问如何自动化数据收集而无需支付托管费用 用户想要一个能根据他们的决策随时间推移变得更智能的代理 每个数据抓取代理都有三层： | 层级 | 工具 | 原因 | |---|---|---| | 抓取 | requests + BeautifulSoup | 无成本，覆盖80%的公共网站 | | JS渲染的网站 | playwright (免费) | 当HTML抓取失败时使用 | | AI丰富 | 通过REST API的Gemini Flash | 500次请求/天，100万令牌/天 — 免费 | | 存储 | Notion API | 免费层级，用于审查的优秀UI | | 调度 | GitHub Actions cron | 对公共仓库免费 | | 学习 | 仓库中的JSON反馈文件 | 零基础设施，在git中持久化 | 构建代理以在配额耗尽时自动在Gemini模型间回退： 切勿为每个项目单独调用LLM。始终批量处理： 询问用户： 1. 收集什么： "数据源是什么？URL / API / RSS / 公共端点？" 2. 提取什么： "哪些字段重要？标题、价格、URL、日期、分数？" 3. 如何存储： "结果应该存储在哪里？Notion、Google Sheets、Supabase，还是本地文件？" 4. 如何丰富： "您希望AI对每个项目进行评分、总结、分类或匹配吗？" 5. 频率： "应该多久运行一次？每小时、每天、每周？" 常见的提示示例： 招聘网站 → 根据简历评分相关性 产品价格 → 降价时发出警报 GitHub仓库 → 总结新版本 新闻源 → 按主题+情感分类 体育结果 → 提取统计数据到跟踪器 活动日历 → 按兴趣筛选 为用户生成以下目录结构： 适用于任何数据源的模板： HTML抓取模式： RSS源模式： 与存储层集成： 每次运行后，从数据库中查询具有正面/负面状态的项，并使用提取的模式调用 savefeedback()。 | 反模式 | 问题 | 修复方法 | |---|---|---| | 每个项目调用一次LLM | 立即达到速率限制 | 每次调用批量处理5个项目 | | 代码中硬编码关键字 | 不可重用 | 将所有配置移动到 config.yaml | | 没有速率限制

这里只展示节选，请以完整原文和当前要求为准。