AI bot erişim kontrolü
Hangi AI tarayıcıları siteni okuyabiliyor? OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta ve diğerlerinin eğitim, arama ve asistan botları; tek tıkla robots.txt politikası.
Ücretsiz · Kayıt gerekmez · Veri saklanmaz
Nasıl çalışır
Dosyalar çekilir
robots.txt, llms.txt ve llms-full.txt alan adının kökünden istenir; HTML dönen yedek sayfalar tespit edilir ve yok sayılır.
20 tarayıcı değerlendirilir
Her user-agent, ana sayfa ve yaygın bölümler için ayrıştırılan kurallara göre kontrol edilir; tarayıcı başına izinli, engelli veya kısmi sonucu ve ayrı grup olup olmadığını görürsün.
Politika seç
Açık, sadece arama, eğitim yok veya kapalı: yapıştırabileceğin ya da SEOAsist'in pull request ile uygulayabileceği bir robots.txt bloğu üretilir.
Sık sorulanlar
Google-Extended'ı engellemek beni AI Overviews'tan çıkarır mı?
Hayır. Google-Extended sadece içeriğinin Gemini'yi eğitmesini kontrol eder. AI Overviews ve AI Mode Googlebot'u kullanır; onlardan çıkmanın tek yolu Googlebot'u engellemek veya nosnippet kullanmaktır, bu da normal aramayı etkiler.
Eğitim, arama ve asistan botları arasındaki fark ne?
Eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot…) model eğitimi için veri toplar. Arama tarayıcıları (OAI-SearchBot, PerplexityBot, Claude-SearchBot) AI cevapları için indeks oluşturur ve seni alıntılar. Asistan botları (ChatGPT-User, Claude-User) kullanıcı sorduğunda sayfayı anlık yükler. Çoğu site sadece eğitimi engellemek ister.
Bingbot neden listede?
Microsoft Copilot Bing indeksini kullanır; ayrı bir Copilot tarayıcısı yok. Bingbot'u engellemek seni hem Bing'den hem Copilot'tan çıkarır; bu yüzden 'kapalı' ön ayarı dikkatle kullanılmalı.
'Kısmi' ne anlama geliyor?
Tarayıcı denenen yolların bir kısmını (ana sayfa, /blog/, /urunler/, /hakkimizda…) okuyabiliyor, bir kısmını okuyamıyor. Bu genelde User-agent: * altındaki, AI botlarına da uygulanan Disallow kurallarından kaynaklanır.
AI botları robots.txt'ye uyar mı?
Büyük sağlayıcılar (OpenAI, Anthropic, Google, Microsoft, Apple, Perplexity) uyduklarını belirtiyor. Bytespider gibi bazılarının sicili kötü. robots.txt bir ricadır, zorlama değil; SEOAsist Pixel hangi botların sayfalarına gerçekten geldiğini gösterir ve onları edge'de engelleyebilir.
Tek sayfa yeterli değil mi?
SEOAsist tüm siteni tarar, her sayfa için aynı kuralları çalıştırır, Search Console verisiyle birleştirir ve sorunları yapay zeka ile düzeltip pull request açar.
Ücretsiz plan · Kredi kartı gerekmez