scrapy-mcp

抓取这个电商分类页，使用 CSS 选择器提取每个商品的名称、价格、评分和详情页链接，并输出为结构化 JSON。

返回包含商品字段的 JSON 数组，便于后续分析或入库。

读取目标网站的 sitemap.xml 和 robots.txt，总结可抓取区域、禁止抓取路径，并列出 sitemap 中的主要 URL 分类。

输出抓取规则摘要和按类别整理的网址清单。

从博客首页开始，限制最多抓取 50 个页面、深度不超过 2 层，提取每篇文章的标题、发布时间、作者和正文摘要。

返回受限爬取结果及文章信息汇总，避免无限抓取。