Bob's Multi Tool

Robots.txt pembuat

RobotsSEOPrivasi: Lokal di browser

Robots.txt pembuat

Buat aturan robots.txt dan laporan crawl dengan allow, disallow, crawl-delay, dan hint sitemap.

Masukan / Hasil

Mulai dari alat

Masukan, hasil, dan aksi salin ada di area utama ini. Contoh dan pemeriksaan dipisahkan di bawah.

Hasil siap disalin

Sesi lokal

Status masukan disimpan hanya di browser ini agar pekerjaan terakhir bisa dipulihkan tanpa akun.

Tinjau setelah hasil

Buka contoh, pemeriksaan, dan alat terkait setelah alur masukan dan hasil selesai.

Meja operasi web

Cek kesiapan discovery search

Sebelum submit Search Console atau webmaster, cek status final, URL sitemap, robots, sinyal canonical/meta, dan bentuk URL.

6 Alat
  1. 1. HTTP

    Pastikan tiap URL submit berakhir 200 di host canonical yang dimaksud.

  2. 2. Sitemap

    Bersihkan daftar URL, hapus duplikat, dan salin laporan discovery pencarian.

  3. 3. Robots

    Pastikan aturan crawler dan directive sitemap tidak memblokir halaman publik, lalu salin laporan crawl.

  4. 4. Meta Tags

    Cek title, description, canonical, robots, dan sinyal preview sosial bersama, lalu salin laporan crawler.

  5. 5. OG pratinjau

    Pratinjau kartu berbagi, cek sinyal gambar dan robots, lalu salin laporan crawler sosial.

  6. 6. URL Parse

    Hapus parameter tracking, bandingkan kandidat canonical bersih, lalu salin laporan canonical URL.

Diagnosis URL belum terindeks

Saat Search Console menyebut crawled atau discovered but not indexed, cek respons akhir, bukti sitemap, robots, metadata, dan canonical sebelum menunggu laporan berikutnya.

5 Alat
  1. 1. HTTP

    Buktikan URL final 200 di host canonical dan simpan bukti redirect/header.

  2. 2. Sitemap

    Cocokkan URL dengan set sitemap terkirim lalu salin laporan berisi hitungan dan peringatan.

  3. 3. Robots

    Cek apakah aturan crawler atau directive sitemap bertentangan dengan halaman.

  4. 4. Meta Tags

    Review title, description, canonical, dan robots agar halaman tidak tipis atau noindex tidak sengaja.

  5. 5. URL Parse

    Bandingkan URL canonical bersih dengan URL inspeksi setelah tracking dan path duplikat dihapus.

Sebelum menyalin

  • Bandingkan lagi masukan asli dengan bentuk hasil.
  • Cek perbedaan runtime, pengodean, zona waktu, dan kebijakan keamanan.
  • Lanjutkan dengan alat terkait untuk memastikan hasil Robots.txt pembuat cocok dengan langkah berikutnya.

Kegagalan umum

  • Buat aturan robots.txt dan laporan crawl dengan allow, disallow, crawl-delay, dan hint sitemap.
  • Jika mode Lokal di browser tidak cocok dengan bentuk masukan nyata, jangan langsung percaya pada hasil.

Alat terkait

SitemapBuat XML sitemap dan laporan discovery dari URL publik, lalu cek host, HTTPS, dan duplikat.Langkah berikutnya: Buat XML sitemap dan laporan discovery dari URL publik, lalu cek host, HTTPS, dan duplikat.Meta TagsBuat title, description, canonical, meta tag sosial, dan laporan crawler untuk mengecek pencarian serta pratinjau sosial.Langkah berikutnya: Buat title, description, canonical, meta tag sosial, dan laporan crawler untuk mengecek pencarian serta pratinjau sosial.OG pratinjauPratinjau judul, deskripsi, URL, gambar, dan robots Open Graph, lalu salin laporan crawler sosial.Langkah berikutnya: Pratinjau judul, deskripsi, URL, gambar, dan robots Open Graph, lalu salin laporan crawler sosial.
  • Bandingkan lagi masukan asli dengan bentuk hasil.
  • Cek perbedaan runtime, pengodean, zona waktu, dan kebijakan keamanan.
  • Lanjutkan dengan alat terkait untuk memastikan hasil Robots.txt pembuat cocok dengan langkah berikutnya.
Robots.txt pembuat - alat SEO online gratis | bobob.app