Bob's Multi Tool

Robots.txt 生成器

RobotsSEO隐私: 浏览器本地

Robots.txt 生成器

生成 robots.txt 规则和抓取报告，包含 allow、disallow、crawl-delay 和 sitemap 提示。

输入 / 输出

先使用工具

输入、输出和复制操作集中在这个主区域。示例和检查内容放在下方。

可复制输出

本地会话

输入状态只保存在此浏览器中，可在无账号时恢复上次工作区。

得到结果后再检查

完成主要输入/输出流程后，再打开需要的示例、检查清单和相关工具。

Web 运营工作台

检查搜索发现准备

提交 Search Console 或站长工具前，一起检查最终 status、sitemap URL、robots 规则、canonical/meta 信号和 URL 结构。

6 工具
  1. 1. HTTP

    确认提交 URL 在目标 canonical host 上最终返回 200。

  2. 2. Sitemap

    清理提交 URL 列表，移除重复项，并复制搜索发现报告。

  3. 3. Robots

    确认 crawler 规则和 sitemap 指令没有阻止公开页面，然后复制抓取报告。

  4. 4. Meta Tags

    一起检查 title、description、canonical、robots 和社交预览信号，然后复制抓取报告。

  5. 5. OG 预览

    预览分享卡片，检查 image 与 robots 信号，然后复制社交爬虫报告。

  6. 6. URL Parse

    移除跟踪参数，比较干净的 canonical 候选，然后复制 URL canonical 报告。

诊断未收录 URL

当 Search Console 显示已抓取或已发现但未收录时，先检查最终响应、sitemap 证据、robots 规则、metadata 和 canonical 形态，再等待下一次报告刷新。

5 工具
  1. 1. HTTP

    证明被检查 URL 在 canonical host 上最终为 200，并保留 redirect/header 证据。

  2. 2. Sitemap

    核对 URL 是否在提交的 sitemap 集合中，并复制带数量和警告的 discovery report。

  3. 3. Robots

    检查 crawler 规则或 sitemap 指令是否与被检查页面冲突。

  4. 4. Meta Tags

    检查 title、description、canonical 和 robots metadata，避免内容过薄或误设 noindex。

  5. 5. URL Parse

    记录后续前，移除 tracking 和重复 path，并将 clean canonical URL 与检查 URL 对比。

复制前检查

  • 再次比较原始输入和输出形态。
  • 确认目标运行时、编码、时区和安全策略差异。
  • 继续用相关工具检查 Robots.txt 生成器 的结果是否适合下一步。

常见失败情况

  • 生成 robots.txt 规则和抓取报告，包含 allow、disallow、crawl-delay 和 sitemap 提示。
  • 如果浏览器本地处理方式和真实输入结构不一致, 输出不能直接信任。

相关工具

Sitemap从公开 URL 列表生成 XML sitemap 和搜索发现报告，并检查 host、HTTPS 与重复项。下一步: 从公开 URL 列表生成 XML sitemap 和搜索发现报告，并检查 host、HTTPS 与重复项。Meta Tags生成 title、description、canonical、社交 meta tags 和抓取报告，用于检查页面搜索与分享预览。下一步: 生成 title、description、canonical、社交 meta tags 和抓取报告，用于检查页面搜索与分享预览。OG 预览预览 Open Graph 标题、描述、URL、图片和 robots 策略，并复制社交爬虫报告。下一步: 预览 Open Graph 标题、描述、URL、图片和 robots 策略，并复制社交爬虫报告。
  • 再次比较原始输入和输出形态。
  • 确认目标运行时、编码、时区和安全策略差异。
  • 继续用相关工具检查 Robots.txt 生成器 的结果是否适合下一步。
Robots.txt 生成器 - 免费在线SEO工具 | bobob.app