Bob's Multi Tool

Robots.txt Gerador

RobotsSEOPrivacidade: Local no navegador

Robots.txt Gerador

Gere regras robots.txt e relatorio de crawl com allow, disallow, crawl-delay e hints de sitemap.

Entrada / Saida

Comece pela ferramenta

Entrada, saida e acoes de copiar ficam nesta area principal. Exemplos e verificacoes ficam separados abaixo.

Saida pronta para copiar

Sessao local

O estado da entrada fica salvo apenas neste navegador para restaurar o ultimo trabalho sem conta.

Revise depois do resultado

Abra exemplos, checagens e ferramentas relacionadas apenas depois do fluxo principal de entrada e saida.

Ambiente de operacoes web

Diagnosticar URL nao indexada

Quando o Search Console mostra crawled ou discovered but not indexed, revise resposta final, sitemap, robots, metadata e canonical antes do proximo relatorio.

5 Ferramentas
  1. 1. HTTP

    Prove que a URL termina em 200 no host canonico e registre redirects/headers.

  2. 2. Sitemap

    Compare a URL com o sitemap enviado e copie o relatorio com contagens e avisos.

  3. 3. Robots

    Verifique se regras crawler ou diretivas sitemap conflitam com a pagina inspecionada.

  4. 4. Meta Tags

    Revise title, description, canonical e robots para evitar conteudo fino ou noindex acidental.

  5. 5. URL Parse

    Compare a URL canonica limpa com a inspecionada apos remover tracking e paths duplicados.

Verificar preparo de descoberta

Antes de enviar a Search Console ou webmaster, revise status final, URLs sitemap, robots, canonical/meta e formato da URL.

6 Ferramentas
  1. 1. HTTP

    Confirme se cada URL enviada termina em 200 no host canonico esperado.

  2. 2. Sitemap

    Limpe a lista de URLs, remova duplicadas e copie o relatorio de descoberta.

  3. 3. Robots

    Confirme se regras crawler e diretiva sitemap nao bloqueiam paginas publicas, depois copie o relatorio de crawl.

  4. 4. Meta Tags

    Revise title, description, canonical, robots e preview social juntos, depois copie o relatorio crawler.

  5. 5. OG Preview

    Previsualize o card compartilhado, revise imagem e robots, depois copie o relatorio crawler social.

  6. 6. URL Parse

    Remova parametros de tracking, compare o candidato canonico limpo e copie o relatorio canonical de URL.

Antes de copiar

  • Compare novamente a entrada original com o formato da saida.
  • Confira diferencas de runtime, codificacao, fuso horario e politica de seguranca.
  • Use uma ferramenta relacionada para confirmar que Robots.txt Gerador serve para o proximo passo.

Falhas comuns

  • Gere regras robots.txt e relatorio de crawl com allow, disallow, crawl-delay e hints de sitemap.
  • Se o modo Local no navegador nao combina com o formato real da entrada, nao confie na saida sem revisar.

Ferramentas relacionadas

SitemapGere XML sitemap e relatorio de descoberta a partir de URLs publicas, revisando host, HTTPS e duplicadas.Proximo passo: Gere XML sitemap e relatorio de descoberta a partir de URLs publicas, revisando host, HTTPS e duplicadas.Meta TagsGere title, description, canonical, meta tags sociais e relatorio crawler para revisar busca e previews sociais.Proximo passo: Gere title, description, canonical, meta tags sociais e relatorio crawler para revisar busca e previews sociais.OG PreviewPrevisualize titulo, descricao, URL, imagem e robots de Open Graph e copie um relatorio crawler social.Proximo passo: Previsualize titulo, descricao, URL, imagem e robots de Open Graph e copie um relatorio crawler social.
  • Compare novamente a entrada original com o formato da saida.
  • Confira diferencas de runtime, codificacao, fuso horario e politica de seguranca.
  • Use uma ferramenta relacionada para confirmar que Robots.txt Gerador serve para o proximo passo.
Robots.txt Gerador - ferramenta SEO online gratis | bobob.app