NİSAN 2, 2026

Robots.txt Dosyası Nedir? Kapsamlı Rehber

Arama motorları ve AI tarayıcıları için sitenizin kapısını nasıl kontrol edeceğinizi adım adım öğrenin.

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan düz bir metin dosyasıdır. Arama motoru tarayıcılarına (crawler) hangi sayfaları tarayabileceklerini, hangilerini atlayacaklarını söyler. Dosya, Robots Exclusion Protocol (REP) standardına dayanır ve tüm büyük arama motorları tarafından desteklenir.

Örneğin https://example.com/robots.txt adresinde erişilebilir olmalıdır. Dosya yoksa tarayıcılar tüm sayfaları serbestçe tarayabilir. Dosya varsa ama hatalıysa istemediğiniz sayfalar indekslenebilir veya önemli sayfalar gizlenebilir.

Neden Önemli?

Robots.txt dosyası birkaç kritik işlev görür:

  • Tarama bütçesini korur — Arama motorları her siteye sınırlı bir tarama bütçesi ayırır. Gereksiz sayfaların (admin paneli, arama sonuçları, filtre sayfaları) taranmasını engelleyerek bütçeyi önemli sayfalara yönlendirebilirsiniz.
  • Yinelenen içeriği önler — Parametre bazlı URL'ler, yazdırma sayfaları veya sıralama varyasyonları gibi yinelenen içerik üreten yolları engelleyebilirsiniz.
  • Sunucu yükünü azaltır — Agresif tarayıcıların gereksiz istekler yapmasını önler.
  • AI tarayıcılarını yönetir — 2025'ten itibaren GPTBot, ClaudeBot, Bytespider gibi AI tarayıcıları da robots.txt'e uyar.

Temel Sözdizimi

Robots.txt dosyası birkaç temel yönergeden (directive) oluşur:

USER-AGENT

User-agent satırı, kuralların hangi tarayıcıya uygulanacağını belirtir. Tüm tarayıcılar için yıldız (*) kullanılır:

User-agent: *
Disallow: /admin/

Belirli bir tarayıcıyı hedeflemek için adını yazarsınız:

User-agent: Googlebot
Disallow: /private/

DISALLOW

Disallow yönergesi, belirtilen yolun taranmasını engeller. Boş bırakılırsa hiçbir kısıtlama yoktur:

Disallow: /wp-admin/
Disallow: /search?
Disallow: /temp/

ALLOW

Allow yönergesi, bir Disallow kuralının içinde belirli bir alt yolun taranmasına izin verir. Google ve Bing bu yönergeyi destekler:

User-agent: *
Disallow: /images/
Allow: /images/public/

SITEMAP

Sitemap yönergesi, XML site haritanızın konumunu tarayıcılara bildirir. Herhangi bir User-agent bloğunun dışında, dosyanın sonuna eklenir:

Sitemap: https://example.com/sitemap.xml

Site haritanızı henüz oluşturmadıysanız, Seoptera Sitemap Generator aracıyla hızlıca oluşturabilirsiniz.

AI Tarayıcılarını Engelleme

Yapay zeka şirketleri, web içeriklerini model eğitimi için toplayan tarayıcılar kullanır. Bu tarayıcıları engellemek istiyorsanız her birini ayrı ayrı belirtmeniz gerekir:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

Bu kurallar yalnızca belirtilen AI tarayıcılarını engeller; Googlebot ve Bingbot gibi arama motoru tarayıcıları etkilenmez. Hangi AI tarayıcılarını engelleyeceğinize karar vermek size kalmıştır.

Seoptera Robots.txt Generator aracı, yaygın AI tarayıcılarını tek tıkla eklemenize olanak tanır.

Sık Yapılan Hatalar

1. TÜM SİTEYİ ENGELLEMEK

En tehlikeli hata, yanlışlıkla tüm siteyi taramaya kapatmaktır:

User-agent: *
Disallow: /

Bu kural tüm tarayıcıları engeller. Test ortamından canlıya geçerken bu satırın kaldırıldığından emin olun.

2. ROBOTS.TXT İLE İNDEKSLEMEYİ ENGELLEMEK

Robots.txt taramayı engeller, ancak indekslemeyi garanti etmez. Bir sayfa başka sitelerden bağlantı alıyorsa, robots.txt ile engellenmiş olsa bile indekslenebilir. Sayfanın indekslenmesini tamamen önlemek için <meta name="robots" content="noindex"> etiketini kullanın.

3. YANLIŞ YOL KULLANIMI

Yollar büyük/küçük harfe duyarlıdır. /Admin/ ile /admin/ farklı yollardır. Ayrıca her yol eğik çizgiyle (/) başlamalıdır.

4. SITEMAP SATIRINI UNUTMAK

Birçok site robots.txt dosyasına Sitemap yönergesini eklemeyi unutur. Bu, tarayıcıların site haritanızı otomatik olarak bulmasını zorlaştırır.

5. DOSYANIN YANLIŞ KONUMDA OLMASI

Robots.txt mutlaka alan adınızın kök dizininde olmalıdır. https://example.com/robots.txt doğrudur; https://example.com/pages/robots.txt çalışmaz.

Robots.txt ve SEO İlişkisi

Doğru yapılandırılmış bir robots.txt dosyası, SEO stratejinizin temel taşlarından biridir. Tarama bütçesini optimize eder, yinelenen içerik sorunlarını azaltır ve arama motorlarının sitenizin en değerli sayfalarına odaklanmasını sağlar.

Robots.txt dosyanızı oluşturduktan sonra, sayfalarınızın arama sonuçlarında nasıl görüneceğini Google SERP Önizleme aracıyla kontrol edebilirsiniz.

Sonuç

Robots.txt küçük bir dosyadır ama etkisi büyüktür. Doğru yapılandırıldığında sitenizin taranma verimliliğini artırır, sunucu kaynaklarını korur ve AI tarayıcılarını yönetmenize yardımcı olur. Yanlış yapılandırıldığında ise sitenizi arama sonuçlarından tamamen çıkarabilir.

Seoptera Robots.txt Generator ile dosyanızı hatasız oluşturabilir, AI tarayıcı engellerini ekleyebilir ve sonucu doğrudan sitenize kopyalayabilirsiniz.