/ Ücretsiz Araç

Robots.txt Oluşturucu

Disallow/Allow kurallarınızı, sitemap referanslarınızı ve 20+ AI bot engelleme ayarlarınızı tek formla yönetin. Çıktıyı tek tıkla kopyalayın veya indirin.

Her satıra bir path. Wildcard (*) ve $ (sonu) Googlebot tarafından desteklenir.

|

İçeriğinizin LLM eğitiminde kullanılmasını engellemek için işaretleyin. 0 bot seçili.

Bu Araç Hakkında

Neden bu aracı kullanmalısınız?

Robots.txt Oluşturucu, sitenizin tarayıcı (crawler) erişim kurallarını GUI üzerinden hazırlayan ücretsiz bir araçtır. Disallow/Allow path'leri, sitemap referansları, crawl-delay ve 20+ AI bot için tek tıkla engelleme.

AI botların (GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider vb.) içeriğinizi LLM eğitiminde kullanmasını engellemek istiyorsanız bu aracı tercih edin — son güncel bot listesiyle desteklenir.

Çıktıyı tek tıkla kopyalayın veya doğrudan .txt dosyası olarak indirin. Sunucu kök dizinine yükleyin (/robots.txt) ve hemen aktif olur.

Detaylı Rehber

Bu aracı en verimli nasıl kullanırsınız?

Nedir?

AI Botlarını Neden Engellemeli?

OpenAI (GPTBot), Anthropic (ClaudeBot), Common Crawl (CCBot) gibi botlar internetteki içerikleri çekip LLM eğitimi için kullanır. Bazı içerik sahipleri (haber siteleri, kurslar, ücretli içerikler) bu kullanımdan rahatsız.

Robots.txt ile bu botları engellemek, içeriğinizin AI modellerinde "ücretsiz veri" olarak kullanılmasını teknik olarak imkansız kılmaz ama büyük modellerin saygı duyduğu bir sinyaldir.

  • Premium içerik koruma — eğitim seti dışında kalma
  • Robots.txt çoğu bot tarafından gönüllü uygulanır
  • Hukuki gri alan — yasaklama açıkça beyan edilince ihlali kanıtlamak kolaylaşır
  • Google-Extended ayrı bot — Googlebot'u engellemeden Bard/Gemini eğitimini engelleyebilirsin

Nasıl Yapılır?

Wildcard ve $ Karakterleri

Googlebot ve büyük botlar robots.txt'de wildcard (*) ve sonu işareti ($) destekler. Örnekler:

  • `Disallow: /*?` — query string'li URL'leri engelle
  • `Disallow: /*.pdf$` — sadece .pdf ile biten URL'leri engelle
  • `Allow: /public/` — başka kuralla engellenmiş bir dizinin alt yolunu tekrar aç

Neden Önemli?

Yaygın Disallow Kalıpları

Çoğu site için engellenen tipik path'ler:

  • /admin, /admin-panel — admin arayüzleri
  • /api/ — API endpoint'leri (Crawl bütçesi israfı)
  • /sepet, /odeme, /giris, /kayit — auth/checkout flow'ları
  • /*?utm — UTM'li URL'ler (duplicate content)
  • /cdn-cgi/ — Cloudflare iç path'leri

↕ Yukarı / aşağı kaydırarak tüm bölümleri okuyabilirsiniz.

Kim İçin Uygun?

Bu araç sizin için doğru mu?

  • Web sitesi sahipleri — temel robots.txt kurulumu
  • SEO uzmanları — müşteri siteleri için hızlı template
  • Premium içerik üreticileri — AI bot engelleme
  • E-ticaret editörleri — checkout / filtre URL'lerini engelleme
  • Geliştiriciler — staging/test path'lerini engelleme

Pro İpuçları

Uzmanların kullanım sırları

  • robots.txt'i Search Console'un "robots.txt Tester" aracında doğrulayın
  • Sitemap URL'i mutlaka ekleyin — Google'a sitemap yolunu en hızlı bu şekilde bildirirsiniz
  • AI bot engelliyorsanız "Google-Extended" da işaretleyin — Bard/Gemini eğitimini engelle ama Googlebot devam etsin
  • Bütün sitenizi engellemeyin (`Disallow: /`) — production'da bunu yaparsanız Google indeksi temizler
  • Disallow değişikliği yaptıktan sonra Search Console'da "robots.txt yenile" butonuna basın

Dikkat Edilmesi Gerekenler

Yaygın hatalar ve çözümleri

  • Hata

    Tüm siteyi yanlışlıkla engellemek (`Disallow: /`)

    Çözüm

    Bu satırı asla User-agent: * altına koymayın. Production'da indekslemenizi sıfırlar.

  • Hata

    robots.txt'i sayfada gizli içerikleri korumak için kullanmak

    Çözüm

    robots.txt erişimi engellemez, sadece tarayıcılara "okumayın" der. Hassas içerik için auth gerekir.

  • Hata

    Sitemap satırı koymamak

    Çözüm

    Her zaman `Sitemap: https://domain.com/sitemap.xml` ekleyin — Google için en güçlü sinyal.

  • Hata

    noindex meta tag yerine robots.txt kullanmak

    Çözüm

    Sayfayı indeks dışı bırakmak için noindex meta tag kullanın; robots.txt sayfayı taramayı engeller ama Google linkten gördüyse yine indeksleyebilir.

Sıkça Sorulanlar

Bu araç hakkında merak edilenler

  • AI botları engellemek yasal mı?

    Evet. Robots.txt yasal bir "kullanım koşulu" beyanıdır. Engelleme ihlali edilirse bazı yargı bölgelerinde dava açmak için sağlam bir temel oluşturur.

  • GPTBot ile ChatGPT-User farkı nedir?

    GPTBot OpenAI'nin eğitim için tarama yapan bot'udur. ChatGPT-User ise kullanıcı bir prompt'ta link verdiğinde sayfa içeriğini çeken farklı bir bot. İkisini de engellemek isteyebilirsiniz.

  • Robots.txt'i yükledikten ne kadar sonra etkili olur?

    Googlebot 24 saat içinde günceller. Diğer botlar 1-7 gün arası değişir. Acil değişiklik için Search Console'dan manuel "robots.txt güncelle" diyebilirsiniz.

  • Crawl-delay ne işe yarar?

    Botların ardışık iki isteği arasında beklemesi gereken saniye sayısı. Googlebot bu direktifi yoksayar (Search Console'da ayarlanır), ama Yandex/Bing destekler.

  • SEO için robots.txt nasıl optimize edilir?

    SEO Danışmanlığımız kapsamında robots.txt + sitemap + indeksleme stratejisi planlama hizmeti sunuyoruz.

SEO Panel Planları

Tüm Araçlar, Tek Platformda

Backlink analizi, organik arama takibi ve rakip izleme — kendi panelimizde, Türkiye'ye özel yorumlama ve danışmanlık desteğiyle.

Basic

₺1.250/ay · TL

Aylık fatura · İstediğiniz zaman iptal

SEO takibine başlamak isteyenler için temel araç seti.

1 Proje30 Sorgu/GünTemel SEO Araçları

Dahil Olanlar

  • Genel Bakış & Fırsatlar
  • Sayfa İnceleme
  • Site Yapısı & Takvim
  • Organik Kelimeler
  • En Çok Trafik Alan Sayfalar
  • Sıra Bulucu (Panel)
  • Anahtar Kelime Aracı(Sınırlı)
  • Site Audit(Sınırlı)
  • SERP Analizi
  • Google AI Overview Takibi
  • Site İçi SEO & Hız Testi
  • Meta & Yapısal Veri Araçları
Basic ile Başla
En Popüler

Pro

₺2.000/ay · TL

Aylık fatura · İstediğiniz zaman iptal

Tüm SEO araçlarına tam erişim. Büyüyen markalar için en mantıklı seçenek.

3 Proje200 Sorgu/GünTam Erişim

Dahil Olanlar

  • Genel Bakış & Fırsatlar
  • Sayfa İnceleme
  • Site Yapısı & Takvim
  • Organik Kelimeler
  • En Çok Trafik Alan Sayfalar
  • Sıra Bulucu (Panel)
  • Anahtar Kelime Aracı
  • Site Audit
  • Organik Rakipler
  • Backlink Analizi
  • Yönlendiren Domainler
  • Anchor & IP Analizi
  • İçerik Açığı
  • Link Kesişimi
  • Reklam Kelime Analizi
  • Web & Bot Analitik
  • AI İçerik Asistanı
  • Marka Radarı
  • SERP Analizi
  • Google AI Overview Takibi
  • Site İçi SEO & Hız Testi
  • Meta & Yapısal Veri Araçları
Pro ile Başla

Enterprise

₺3.750/ay · TL

Aylık fatura · İstediğiniz zaman iptal

Ajanslar ve büyük markalar için sınırsız proje ve tam VIP destek.

Sınırsız ProjeSınırsız SorguVIP Destek

Dahil Olanlar

  • Genel Bakış & Fırsatlar
  • Sayfa İnceleme
  • Site Yapısı & Takvim
  • Organik Kelimeler
  • En Çok Trafik Alan Sayfalar
  • Sıra Bulucu (Panel)
  • Anahtar Kelime Aracı
  • Site Audit
  • Organik Rakipler
  • Backlink Analizi
  • Yönlendiren Domainler
  • Anchor & IP Analizi
  • İçerik Açığı
  • Link Kesişimi
  • Reklam Kelime Analizi
  • Web & Bot Analitik
  • AI İçerik Asistanı
  • Marka Radarı
  • SERP Analizi
  • Google AI Overview Takibi
  • Site İçi SEO & Hız Testi
  • Meta & Yapısal Veri Araçları
  • Öncelikli Destek
  • Özel Danışman Ataması
Enterprise ile Başla

Aylık planlar her ay yeniden fatura edilir. İstediğiniz zaman iptal edebilirsiniz. Özel fiyat için iletişime geçin.

Devamı

Bu aracı kullananlar bunları da inceledi

Hizmetlerimiz

Araç yetmediği yerde biz devralırız.

Ücretsiz araçlar başlangıç içindir. Uzun vadeli büyüme operasyonu için uzman ekibimizle çalışın — strateji, uygulama ve raporlama tek elden.

Teklif Al

SEO Danışmanlığı

Organik trafik + sıralama büyütme operasyonu — teknik SEO, içerik, backlink.

Detaya Bak

Google Ads Danışmanlığı

Performans odaklı arama, alışveriş ve display kampanya yönetimi.

Detaya Bak

Meta Ads Danışmanlığı

Facebook + Instagram reklam kampanyaları — yaratıcı + hedefleme + ölçeklendirme.

Detaya Bak

Yapay Zeka SEO & Reklam

AI cevap motorlarında alıntılanma + AI destekli reklam optimizasyonu.

Detaya Bak

Google Harita SEO

Lokal arama hakimiyeti — Google Business Profile, harita sıralaması, yorumlar.

Detaya Bak

Web Tasarım

Dönüşüm odaklı, hızlı ve SEO uyumlu kurumsal web siteleri.

Detaya Bak

Otomasyon Danışmanlığı

İş süreçlerinizi akıllı sistemlere bağlayın; insan hatasını sıfıra indirin.

Detaya Bak

Hepsi Bir Arada

Tüm Hizmetlerimiz

Markanıza özel paket çözüm için tüm hizmet portföyümüzü inceleyin.

Hepsini Gör