Robots.txt Nedir? Nasıl Düzenlenmelidir?

Bir web sitesinin arama motorlarıyla iletişim kurduğu en temel dosyalardan biri robots.txt'dir. Bu küçük metin dosyası, doğru kullanıldığında SEO performansını ciddi şekilde güçlendirirken yanlış yazıldığında tüm sitenin Google'dan silinmesine kadar varan sonuçlar doğurabilir.

Robots.txt Nedir?

Robots.txt, bir web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi sayfaların taranıp taranamayacağını söyleyen bir metin dosyasıdır. Bu dosya site adresinin sonuna /robots.txt eklenerek incelenebilir.

Örnek konum:

https://halil.com.tr/robots.txt

Bu dosya bir kural seti gibidir; ancak bağlayıcı değil tavsiye niteliğindedir. Yani saygılı botlar (Googlebot, Bingbot, AhrefsBot vb.) bu kurallara uyar, ancak kötü niyetli botlar uymak zorunda değildir.

Robots.txt Neden Önemlidir?

Robots.txt SEO için kritik bir araçtır çünkü:

Tarama bütçesini doğru sayfalara yönlendirir,
Gereksiz sayfaların indexlenmesini engeller,
Sunucu yükünü azaltır,
Duplicate content riskini azaltır,
Yönetim panelleri gibi özel alanları botlardan saklar,
AI crawler'ları için erişim kuralları belirlenmesini sağlar.

Robots.txt Temel Yapısı

Dosya temel olarak şu yapı üzerine kuruludur:

User-agent: *
Disallow: /admin/
Allow: /admin/login.css
Sitemap: https://halil.com.tr/sitemap.xml

User-agent

Kuralın hangi bot için geçerli olduğunu belirtir. * tüm botlar anlamına gelir. Googlebot, Bingbot, GPTBot gibi spesifik botlara özel kurallar da yazılabilir.

Disallow

Belirtilen yolun taranmasını yasaklar. Örneğin Disallow: /sepet/ komutu /sepet/ ile başlayan tüm URL'lerin taranmasını engeller.

Allow

Disallow ile yasaklanmış bir alanın belirli kısımlarına izin vermek için kullanılır.

Sitemap

Sitenizin XML site haritasının konumunu botlara bildirir. SEO için her zaman eklenmelidir.

Doğru Bir Robots.txt Nasıl Olmalıdır?

1. Önemli Sayfalar Taranmaya Açık Olmalı

Blog, hizmetler, kategori sayfaları gibi SEO açısından kritik alanlar asla disallow ile engellenmemelidir.

2. Yönetim ve Sistem Sayfaları Kapatılmalı

3. Parametreli URL'ler Yönetilmeli

Arama parametreleri, filtreler ve sıralama parametreleri yanlış yönetildiğinde duplicate content oluşturur. Robots.txt ile bu URL'lerin taranması engellenebilir.

4. AI Botları İçin Politika Belirlenmeli

2026 itibarıyla GPTBot, ClaudeBot, PerplexityBot, Google-Extended gibi AI crawler'lar için robots.txt üzerinden erişim politikası belirlenebilir. Marka stratejinize göre bu botlara izin verebilir veya engelleyebilirsiniz.

5. Sitemap Tanımı Olmalı

Robots.txt mutlaka sitemap.xml linkini içermelidir. Bu, taramayı çok daha verimli hale getirir.

Robots.txt ve Indexleme Arasındaki Fark

Çok yaygın bir hata: Disallow komutu indexlemeyi engellemez, yalnızca taramayı engeller. Yani bir sayfa robots.txt ile engellense bile başka bir siteden link alındığında URL Google'da görünebilir.

Bir sayfanın indexlenmesini engellemek için noindex meta etiketi kullanılmalıdır. Bu çok kritik bir ayrımdır.

Robots.txt Düzenlerken Yapılan Yaygın Hatalar

Tüm siteyi yanlışlıkla disallow etmek (Disallow: /),
JS ve CSS dosyalarını engellemek (Google sayfayı tam render edemez),
Sitemap satırını eklemeyi unutmak,
Çelişkili Allow/Disallow kuralları yazmak,
Test edilmeden yayınlamak,
Indexleme ile karıştırarak noindex yerine disallow kullanmak.

Robots.txt Nasıl Test Edilir?

Robots.txt'in doğru çalıştığından emin olmak için kullanılabilecek araçlar:

Google Search Console "URL Denetleme" aracı,
Robots.txt Tester (eski araç ancak hâlâ etkili),
Screaming Frog gibi crawler yazılımları,
Site:domain.com sorgusu ile indexlenen URL kontrolü.

Örnek Bir İyi Robots.txt

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /*?sort=
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://halil.com.tr/sitemap.xml

Bu örnek: yönetim ve sepet alanlarını kapatır, sıralama parametrelerinin taranmasını engeller, GPTBot'a izin vermez ve sitemap'i bildirir.

Sonuç

Robots.txt, basit bir metin dosyası gibi görünse de SEO'nun bel kemiklerinden biridir. Doğru yapılandırıldığında tarama verimliliğini, indexlenme kalitesini ve teknik SEO sağlığını ciddi şekilde artırır. Yanlış yazıldığında ise tüm sitenin Google'dan silinmesine bile yol açabilir.

Teknik SEO altyapınızı ve robots.txt yapınızı profesyonel olarak yönetmek için SEO Danışmanlığı hizmetimizden faydalanabilirsiniz.