data-scraper-agent
任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。
Original · translation did not pass checksTarget: Databases. Automatically collected · unverified.
Excerpt from the author’s documentation
Extracted from a fixed version of SKILL.md in its original language. This is the author’s documentation; installation, compatibility and runtime results have not been verified by this site.
Read the original Japanese text
Topics in the source
- データスクレイパーエージェント
- アクティベーション時期
- コアコンセプト
- 3つのレイヤー
- 無料スタック
- ワークフロー
- 例
任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。 スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。 スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合 ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合 ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる ユーザーが決定に基づいて時間とともにより スマートになるエージェントを望む すべてのデータスクレイパーエージェントには3つのレイヤーがあります： | Layer | Tool | Why | |---|---|---| | COLLECT | Playwright/BeautifulSoup | 無料のオープンソーススクレイピング | | ENRICH | Gemini Flash | 無料で高速LLM | | STORE | Supabase / Sheets | 無料データベースとスプレッドシート | | SCHEDULE | GitHub Actions | 無料クロンジョブ | 1. ソースを定義 - どこからスクレイプするか、何を抽出するか 2. スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ 3. LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類 4. ストレージを設定 - Notion、Sheets、Supabase のいずれか 5. GitHub Actions を設定 - 毎日/毎週実行するスケジュール 6. フィードバックループを追加 - ユーザーの判断から学習 ジョブボード監視：新しい公開
- Source repository
- affaan-m/ECC
- Source file
- docs/ja-JP/skills/data-scraper-agent/SKILL.md
- Fixed revision
- d2ef2680594f9a17526a6e1a2e18b3d242c5d17b
Sources and evidence
This record was collected automatically. Its documentation, suitability and runtime behavior have not been manually verified.
Author: affaan-m/ECC · original repository metadata. Documentation review: Not reviewed. Last source check: 2026-11-09T14:01:49.112Z.
Categories are inferred from names, descriptions and paths. They do not establish compatibility.
License and attribution
MIT. Third-party content and copyright remain with their authors. Refer to the original license and terms.
Original license ↗Synchronization, copying and user-reported success do not mark a resource as runtime-tested.
Limitations and notes
- Collecting metadata does not mean this site has installed, adapted, runtime-tested or security-reviewed the resource.