Bob's Multi Tool

Robots.txt generateur

RobotsSEOConfidentialite: Local navigateur

Robots.txt generateur

Generez des regles robots.txt et un rapport de crawl avec allow, disallow, crawl-delay et hints sitemap.

Entree / Sortie

Commencer par l'outil

L'entree, la sortie et la copie restent dans cette surface principale. Exemples et controles sont separes plus bas.

Sortie prete a copier

Session locale

L'etat de saisie reste dans ce navigateur pour restaurer le dernier travail sans compte.

Verifier apres le resultat

Ouvrez exemples, controles et outils lies seulement apres le flux principal entree/sortie.

Atelier d'operations web

Diagnostiquer une URL non indexee

Quand Search Console indique crawled ou discovered but not indexed, verifiez reponse finale, sitemap, robots, metadata et canonical avant le prochain rapport.

5 Outils
  1. 1. HTTP

    Prouvez le 200 final sur l'hote canonical et gardez les preuves redirect/header.

  2. 2. Sitemap

    Comparez l'URL au sitemap soumis et copiez le rapport avec comptes et alertes.

  3. 3. Robots

    Verifiez si regles crawler ou directives sitemap contredisent la page inspectee.

  4. 4. Meta Tags

    Verifiez title, description, canonical et robots contre contenu mince ou noindex accidentel.

  5. 5. URL Parse

    Comparez l'URL canonical propre avec l'URL inspectee apres retrait du tracking et des chemins doubles.

Verifier la preparation search

Avant Search Console ou webmaster, verifiez status final, URLs sitemap, robots, canonical/meta et forme d'URL.

6 Outils
  1. 1. HTTP

    Confirmez que chaque URL soumise finit en 200 sur l'hote canonique voulu.

  2. 2. Sitemap

    Nettoyez la liste d'URLs, retirez doublons et copiez le rapport de decouverte.

  3. 3. Robots

    Confirmez que les regles crawler et la directive sitemap ne bloquent pas les pages publiques, puis copiez le rapport de crawl.

  4. 4. Meta Tags

    Verifiez title, description, canonical, robots et signaux de preview sociale ensemble, puis copiez le rapport crawler.

  5. 5. OG apercu

    Previsualisez la carte partagee, verifiez image et robots, puis copiez le rapport crawler social.

  6. 6. URL Parse

    Retirez les parametres tracking, comparez le candidat canonical propre, puis copiez le rapport canonical URL.

Avant de copier

  • Comparez encore l'entree originale et la forme de sortie.
  • Verifiez les differences de runtime, encodage, fuseau horaire et politique de securite.
  • Poursuivez avec un outil lie pour confirmer que Robots.txt generateur convient a l'etape suivante.

Erreurs frequentes

  • Generez des regles robots.txt et un rapport de crawl avec allow, disallow, crawl-delay et hints sitemap.
  • Si le mode Local navigateur ne correspond pas a la forme reelle de l'entree, ne faites pas confiance a la sortie sans verification.

Outils lies

SitemapGenerez XML sitemap et rapport de decouverte depuis des URL publiques, avec verification hote, HTTPS et doublons.Etape suivante: Generez XML sitemap et rapport de decouverte depuis des URL publiques, avec verification hote, HTTPS et doublons.Meta TagsGenerez title, description, canonical, meta tags sociaux et rapport crawler pour verifier recherche et apercus sociaux.Etape suivante: Generez title, description, canonical, meta tags sociaux et rapport crawler pour verifier recherche et apercus sociaux.OG apercuPrevisualisez titre, description, URL, image et robots Open Graph, puis copiez un rapport crawler social.Etape suivante: Previsualisez titre, description, URL, image et robots Open Graph, puis copiez un rapport crawler social.
  • Comparez encore l'entree originale et la forme de sortie.
  • Verifiez les differences de runtime, encodage, fuseau horaire et politique de securite.
  • Poursuivez avec un outil lie pour confirmer que Robots.txt generateur convient a l'etape suivante.
Robots.txt generateur - outil SEO gratuit en ligne | bobob.app