Bob's Multi Tool

Robots.txt Generator

RobotsSEODatenschutz: Lokal im Browser

Robots.txt Generator

Erstellt robots.txt-Entwuerfe und Crawl-Reports mit Allow, Disallow, Crawl-Delay und Sitemap-Hinweisen.

Eingabe / Ausgabe

Mit dem Werkzeug starten

Eingabe, Ausgabe und Kopieren bleiben in dieser Hauptflaeche. Beispiele und Pruefhinweise stehen getrennt darunter.

Kopierfertige Ausgabe

Lokale Sitzung

Eingaben werden nur in diesem Browser gespeichert, damit du die letzte Arbeit ohne Konto wiederherstellen kannst.

Nach dem Ergebnis pruefen

Oeffne Beispiele, Checks und verwandte Werkzeuge erst nach dem Eingabe/Ausgabe-Ablauf.

Web-Operations-Arbeitsplatz

Nicht indexierte URL pruefen

Wenn Search Console crawled oder discovered but not indexed meldet, pruefe finale Antwort, Sitemap, Robots, Metadata und Canonical-Form vor dem naechsten Report.

5 Werkzeuge
  1. 1. HTTP

    Belege final 200 auf dem Canonical-Host und halte Redirect/Header-Evidence fest.

  2. 2. Sitemap

    Gleiche die URL mit dem eingereichten Sitemap-Set ab und kopiere Report mit Zahlen und Warnungen.

  3. 3. Robots

    Pruefe, ob Crawler-Regeln oder Sitemap-Direktiven der Seite widersprechen.

  4. 4. Meta Tags

    Pruefe Title, Description, Canonical und Robots gegen Thin Content oder versehentliches noindex.

  5. 5. URL Parse

    Vergleiche saubere Canonical-URL mit der geprueften URL, ohne Tracking und doppelte Pfade.

Search-Discovery pruefen

Pruefe vor Search Console oder Webmaster-Einreichung finalen Status, Sitemap-URLs, Robots, Canonical/Meta und URL-Form.

6 Werkzeuge
  1. 1. HTTP

    Bestaetige, dass jede eingereichte URL auf dem gewuenschten Canonical-Host final 200 liefert.

  2. 2. Sitemap

    Bereinige die URL-Liste, entferne Duplikate und kopiere den Search-Discovery-Report.

  3. 3. Robots

    Pruefe, dass Crawler-Regeln und Sitemap-Direktive keine oeffentlichen Seiten blockieren, dann kopiere den Crawl-Report.

  4. 4. Meta Tags

    Pruefe Title, Description, Canonical, Robots und Social-Preview-Signale zusammen, dann kopiere den Crawler-Report.

  5. 5. OG Vorschau

    Pruefe die Sharing-Karte, Bild und Robots-Signale, dann kopiere den Social-Crawler-Report.

  6. 6. URL Parse

    Entferne Tracking-Parameter, vergleiche den sauberen Canonical-Kandidaten und kopiere den URL-Canonical-Report.

Vor dem Kopieren

  • Vergleiche Eingabe und Ausgabeform noch einmal.
  • Pruefe Unterschiede bei Runtime, Encoding, Zeitzone und Sicherheitsrichtlinie.
  • Pruefe mit einem verwandten Tool, ob Robots.txt Generator fuer den naechsten Schritt passt.

Haeufige Fehlerfaelle

  • Erstellt robots.txt-Entwuerfe und Crawl-Reports mit Allow, Disallow, Crawl-Delay und Sitemap-Hinweisen.
  • Wenn Lokal im Browser nicht zur echten Eingabeform passt, sollte die Ausgabe nicht ungeprueft uebernommen werden.

Verwandte Werkzeuge

SitemapErzeugt XML-Sitemap und Search-Discovery-Report aus oeffentlichen URLs mit Host-, HTTPS- und Duplikatpruefung.Naechster Schritt: Erzeugt XML-Sitemap und Search-Discovery-Report aus oeffentlichen URLs mit Host-, HTTPS- und Duplikatpruefung.Meta TagsErstellt Meta-Tags und Crawler-Reports aus Title, Description, Canonical und Open Graph fuer Suche und Social Preview.Naechster Schritt: Erstellt Meta-Tags und Crawler-Reports aus Title, Description, Canonical und Open Graph fuer Suche und Social Preview.OG VorschauPrueft Open-Graph-Titel, Beschreibung, URL, Bild und Robots-Regel und kopiert einen Social-Crawler-Report.Naechster Schritt: Prueft Open-Graph-Titel, Beschreibung, URL, Bild und Robots-Regel und kopiert einen Social-Crawler-Report.
  • Vergleiche Eingabe und Ausgabeform noch einmal.
  • Pruefe Unterschiede bei Runtime, Encoding, Zeitzone und Sicherheitsrichtlinie.
  • Pruefe mit einem verwandten Tool, ob Robots.txt Generator fuer den naechsten Schritt passt.
Robots.txt Generator - kostenloses Online-SEO-Werkzeug | bobob.app