/ Ücretsiz Araç

Robots.txt Test Aracı

Robots.txt dosyanızdaki kuralları yapıştırın, bir bot ve URL belirleyin; arama motoru botunun o sayfaya erişip erişemeyeceğini anında test edin. Hatalı engellemeleri yayına almadan önce yakalayın.

robots.txt içeriği

Test Parametreleri

Eşleşen Kural Grupları

User-agent: *

Disallow: /admin/

Disallow: /private/

Allow: /admin/public/

Nasıl Çalışır?

01

Robots.txt'i Yapıştırın

Sitenizin mevcut robots.txt içeriğini editöre yapıştırın ya da test kuralları yazın. Araç, tüm User-agent bloklarını ayrıştırır.

02

Bot ve URL Seçin

Hangi botu test etmek istediğinizi seçin (Googlebot, Bingbot vb.) ve erişimi kontrol etmek istediğiniz URL yolunu girin.

03

Sonucu Görün

Araç, uygulanan kuralı ve sonucu gösterir: İzin Verildi veya Engellendi. Hangi kural devreye girdiği de belirtilir.

Not:Bu araç Google'ın robots.txt spesifikasyonunu esas alır: en uzun eşleşen kural öncelik alır, Allow ve Disallow aynı uzunluktaysa Allow kazanır. Wildcard (*) ve satır sonu ($) desteklenir. Kapsamlı teknik SEO denetimi için SEO Danışmanlığı hizmetimizi inceleyebilirsiniz.

Bu Araç Hakkında

Neden bu aracı kullanmalısınız?

Robots.txt Test aracı, sitenizin robots.txt dosyasını analiz ederek hangi botların hangi URL'lere erişebildiğini gösterir. Yanlış yazılmış bir robots.txt, tüm sitenizi Google indeksinden dışlayabilir.

Araç ayrıca yeni AI botlarını (GPTBot, ClaudeBot, PerplexityBot) ayrı listeler; içeriğinizin AI modellerine açık olup olmadığını da gösterir.

Sitemap entegrasyonu, crawl-delay direktifi ve user-agent bazlı ayar testleri tek raporda sunulur.

Detaylı Rehber

Bu aracı en verimli nasıl kullanırsınız?

Robots.txt Nedir, Ne İşe Yarar?

Robots.txt, sitenin kök dizininde (siteniz.com/robots.txt) bulunan basit bir metin dosyasıdır. Tarama botlarına (Googlebot, Bingbot, AI botları) hangi sayfaları tarayıp tarayamayacaklarını söyler.

Önemli not: Robots.txt sadece "öneri"dir, zorlayıcı değildir. Saygılı botlar (Google, Bing) uyar; kötü niyetli scraperlar uymayabilir. Hassas içeriği gerçekten gizlemek için authentication veya IP block kullanılmalıdır.

AI Botlarını Engellemeli mi?

AI botları (GPTBot, ClaudeBot, PerplexityBot, Bytespider) içeriğinizi tarar ve AI eğitiminde veya cevap üretimi için kullanır. Engelleyip engellemeyeceğiniz stratejik bir karardır:

  • Marka otoritesi için açın — AI cevaplarında kaynak olarak görünmek değerli
  • Ücretli/özel içerik için engelleyin — paywall arkası içeriklerin AI tarafından çekilmesini istemezsiniz
  • E-ticaret ürün sayfaları için açın — ürünleriniz AI shopping önerilerinde çıkabilir
  • Eğitim/akademi içerikleri için engelleyin — sertifika değeri korunmalı

Yaygın Robots.txt Yazım Hataları

Robots.txt syntax'ı basit ama hatalar büyük: tek bir karakter hatası tüm sitenizi indeksten çıkarabilir. Aşağıdaki kalıpları öğrenin:

  • "Disallow: /" → TÜM SİTE engellenir (felaket senaryo)
  • "Disallow:" (boş) → Engelleme yok, her şey serbest
  • "User-agent: *" → Tüm botları kapsar
  • "User-agent: Googlebot" → Sadece Google'a özel kural
  • "Sitemap: https://..." → Sitemap konumunu bildirir

Kim İçin Uygun?

Bu araç sizin için doğru mu?

  • Site sahipleri — yeni robots.txt yazımı veya kontrolü
  • Geliştiriciler — site lansman öncesi kontrol
  • SEO uzmanları — teknik audit
  • AI içerik üreticileri — AI bot izinlerini yönetmek
  • Site taşıma yapanlar — eski engellerden temizlik

Pro İpuçları

Uzmanların kullanım sırları

  • WordPress kullanıyorsanız "wp-admin" + "wp-includes" engelleyin, "wp-content" açık bırakın
  • Staging/test sitenizde "Disallow: /" kullanın, prod'a deploy ederken sileceğinizi unutmayın
  • Sitemap referansını her zaman ekleyin — Google daha hızlı tarar
  • AI bot listelerini 3 ayda bir güncelleyin — yeni botlar çıkıyor
  • Search Console'daki robots.txt tester ile her değişiklik sonrası doğrulayın

Dikkat Edilmesi Gerekenler

Yaygın hatalar ve çözümleri

  • Hata

    Staging robots.txt'ini prod'a kopyalamak ("Disallow: /" ile)

    Çözüm

    Deploy süreçlerine robots.txt kontrolünü ekleyin. Test deploy sonrası mutlaka kontrol edin.

  • Hata

    Robots.txt ile noindex yapmaya çalışmak

    Çözüm

    Robots.txt taramayı engeller, indekslemeyi değil. Noindex için sayfa meta etiketini kullanın.

  • Hata

    Sitemap referansını eklememek

    Çözüm

    Sitemap: https://siteniz.com/sitemap.xml satırını mutlaka ekleyin.

Sıkça Sorulanlar

Bu araç hakkında merak edilenler

  • Robots.txt'i bloklarsam Google indeksleme yapmaz mı?

    Doğru — Disallow direktifi botun o URL'i taramasını engeller. Ancak başka sitelerden link geliyorsa URL hâlâ indekslenebilir.

  • AI botlarını engellemek gerekli mi?

    Tartışmalı bir konu. İçeriğiniz AI cevaplarında kaynak olarak görünmesi marka otoritesi sağlar; ama içerik ücretli/özel ise engellemek mantıklı.

  • Robots.txt nerede bulunur?

    siteniz.com/robots.txt — yani sitenin kök dizininde.

  • Sitemap'i robots.txt'te belirtmek şart mı?

    Şart değil ama önerilir. Search Console üzerinden de sitemap bildirebilirsiniz; ancak robots.txt referansı yedek mekanizmadır.

  • Yanlış robots.txt zarar nasıl giderilir?

    Düzeltin → Search Console'da robots.txt Tester ile doğrulayın → 24-48 saat içinde Google yeniden tarayacaktır.

Devamı

Bu aracı kullananlar bunları da inceledi