robots.txt & sitemap denetleyici
Arama motorları ve yapay zeka botları siteni nasıl görüyor? robots.txt kurallarını ve sitemap sağlığını tek bakışta kontrol et.
Ücretsiz · Kayıt gerekmez · Veri saklanmaz
Nasıl çalışır
robots.txt okunur
Durum, boyut, user-agent grupları, Allow/Disallow sayıları, Sitemap satırları ve Crawl-delay ayrıştırılır; GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot ve Bytespider için erişim kararı çıkarılır.
Sitemap'ler taranır
Bildirilen her sitemap ve /sitemap.xml getirilir; sitemap index ise 5 alt sitemap'e kadar inilir, URL'ler 50.000'e kadar sayılır, lastmod kapsamı ölçülür.
Örnek URL'ler test edilir
Sitemap'lerden 5 URL seçilip HEAD ile sorgulanır; 200 dönmeyenler bulgu olarak listelenir.
Sık sorulanlar
robots.txt'im yoksa ne olur?
Botlar her şeyi tarayabilir; bu çoğu site için sorun değildir. Ama Sitemap satırını bildirmek ve admin/arama sonuç sayfalarını kapatmak için basit bir robots.txt önerilir. HTML dönen bir robots.txt (SPA fallback) ise bozuk sayılır.
AI botlarını engellemeli miyim?
İçeriğinin yapay zeka yanıtlarında kaynak gösterilmesini istiyorsan GPTBot, ClaudeBot ve PerplexityBot'a izin ver. Yalnızca model eğitiminde kullanılmasını istemiyorsan Google-Extended ve CCBot'u engelle; bu, Google aramadaki sıralamanı etkilemez.
lastmod neden önemli?
Google, doğru lastmod değerlerini değişen sayfaları öncelikli taramak için kullanır. Tüm URL'lere aynı veya sahte tarih vermek güveni kaybettirir; o zaman hiç vermemek daha iyidir.
Sitemap index ile normal sitemap farkı ne?
Sitemap index, başka sitemap dosyalarını listeler; büyük siteler URL'leri 50.000'lik parçalara böler. Bu araç index'in 5 alt dosyasını açar ve toplam URL sayısını hesaplar.
.gz sitemap'ler destekleniyor mu?
Varlıkları ve HTTP durumları raporlanır ama içerik açılmaz. Google sıkıştırılmış sitemap'leri destekler; içeriğini Search Console'daki sitemap raporundan doğrulayabilirsin.
Tek sayfa yeterli değil mi?
SEOAsist tüm siteni tarar, her sayfa için aynı kuralları çalıştırır, Search Console verisiyle birleştirir ve sorunları yapay zeka ile düzeltip pull request açar.
Ücretsiz plan · Kredi kartı gerekmez