$ loading_
帮 AI 代理合规抓取网页并附带溯源证据
复制安装指令，让 AI 自动完成配置 · 推荐新手
"Robots Compliance Scrape Workflow MCP Server" 暂无可直接复制的安装信息，请查看页面文档或源码仓库。
请为目标网站生成抓取计划，先检查 robots.txt，并在执行前让我确认；抓取后请附带来源证据。
输出可执行的抓取计划、合规检查结果，以及带溯源信息的数据包。
针对这组研究主题，规划网页检索与抓取流程，确保遵守 robots.txt，并保留每条数据的来源记录。
整理出可追溯的网页资料集合，便于研究引用。
请先评估这个网页抓取方案是否合规，列出可能违反 robots.txt 的风险，并提示我需要确认的步骤。
给出风险提示、确认节点和合规建议。
开发者或研究员要自动化抓取公开网页时，可以先检查 robots.txt，再按确认后的计划执行。这样能减少违规风险。
如果后续需要审计、复核或引用，工具会把抓取数据与来源证据一起打包，方便追踪每条内容的出处。
在 AI 代理执行抓取前，先让用户确认计划，适合对权限、范围或合规要求更敏感的场景。
它是一个面向 AI 代理的网页抓取 MCP 服务，强调遵守 robots.txt、在执行前确认抓取计划，并把结果与来源证据一起打包。
不会。它要求先检查 robots.txt，并且需要用户确认抓取计划后才执行。
根据描述，输出会把抓取到的数据与溯源证据一起包装，便于追踪来源。其他细节未提供，见源码仓库。
帮助用户礼貌抓取网页并提取链接、表格与结构化内容，支持受限异步爬取
帮助网站团队扫描识别并治理机器人流量，提升安全与运营可见性
帮 AI 代理抓取网页、搜索信息并自动化浏览器操作
抓取网页、提取结构化数据并生成截图的 MCP 工具
提供网页抓取与多页爬取能力，帮助 AI 自动采集并整理站点内容。
帮助代理抓取真实网页内容并跨多搜索引擎检索信息，适合自动化研究与数据采集。