Robots.txt Nedir? Doğru Robots.txt Dosyası Nasıl Yazılır?

Ben Mert Kaplan; EPAZABU’da teknik SEO denetimlerini yürütüyorum. Bir sitenin neden Google’da görünmediğini incelerken baktığım ilk dosyalardan biri robots.txt dosyasıdır. Tek satırlık bir hata bütün sitenin taranmasını durdurabilir. Bu yazıda robots.txt nedir, hangi komutlar kullanılır, WordPress için güvenli bir örnek nasıl olur ve en sık gördüğüm hatalar nelerdir, adım adım anlatıyorum.

Robots.txt nedir ve ne işe yarar?

Googlebot, Bingbot gibi tarayıcılar bir siteye geldiklerinde önce /robots.txt adresine bakar. Bu dosyadaki kurallar, Robots Exclusion Protocol adıyla bilinen ve 2022’de RFC 9309 ile standart hâline gelen kurallardır. Robots.txt dosyası üç iş için kullanılır:

• Tarama bütçesini korumak: Filtre, arama sonucu, sepet gibi sonsuz sayıda adres üreten bölümleri tarayıcıya kapatmak.
• Gereksiz sunucu yükünü azaltmak: Yönetim paneli, test klasörü gibi alanlara botların girmesini engellemek.
• Site haritasını göstermek: Sitemap: satırıyla botlara XML site haritasının adresini bildirmek.

Önemli bir uyarı: Bu dosya bir güvenlik aracı değildir. Dosyayı herkes okuyabilir ve kötü niyetli botlar kurallara uymak zorunda değildir. Gizli kalması gereken bir sayfayı şifreyle korumanız gerekir.

Robots.txt komutları: User-agent, Disallow, Allow, Sitemap

Google, yollarda * (herhangi bir karakter dizisi) ve $ (adresin sonu) işaretlerini destekler. Örneğin Disallow: /*?filtre= filtre parametresi içeren tüm adresleri kapatır. Crawl-delay satırını ise Google dikkate almaz; tarama hızını Google kendisi ayarlar.

WordPress için örnek robots.txt dosyası

WordPress, gerçek bir dosya yoksa sanal bir dosya üretir. Yoast SEO gibi eklentilerle dosyayı panelden düzenleyebilirsiniz. Çoğu kurumsal WordPress sitesi için şu sade içerik yeterlidir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://alanadiniz.com/sitemap_index.xml

WooCommerce mağazalarında sepet, ödeme ve hesap sayfaları ile sonsuz filtre kombinasyonları da eklenebilir. Ancak her kapattığınız yolun gerçekten değersiz olduğundan emin olun: Kategori ve ürün sayfaları asla kapatılmamalı.

Robots.txt ile noindex arasındaki fark

En sık karıştırılan konu budur. Bu dosya taramayı engeller, dizine eklemeyi değil. Bu yolla kapatılmış bir adres başka sitelerden link alıyorsa Google onu içeriğini görmeden, açıklamasız bir sonuç olarak dizine ekleyebilir. Bir sayfanın arama sonuçlarından çıkmasını istiyorsanız sayfaya noindex etiketi eklersiniz ve bu sayfayı robots.txt ile kapatmazsınız; çünkü Google etiketi görebilmek için sayfayı taraması gerekir. Ayrıntı için Google’ın noindex rehberine bakabilirsiniz.

Robots.txt hataları: sahada en sık gördüklerim

1. Test sitesinden kalan Disallow: /: Geliştirme aşamasında tüm site kapatılır, yayına alınırken satır unutulur. Site haftalarca Google’dan kaybolur.
2. CSS ve JavaScript dosyalarını kapatmak: Google sayfayı kullanıcı gibi görmek için bu dosyalara ihtiyaç duyar; kapatılırsa mobil uyumluluk ve içerik yanlış değerlendirilir.
3. Noindex sayfayı aynı anda robots.txt ile kapatmak: Google etiketi göremez, sayfa dizinde kalır.
4. Büyük/küçük harf hatası: Yollar harf duyarlıdır; /Blog/ ile /blog/ farklıdır.
5. Dosyanın yanlış yerde olması: Dosya yalnızca kök dizinde geçerlidir ve her alt alan adının kendi dosyası olmalıdır.

Google dosyanın ilk 500 KiB’ını işler ve içeriği genellikle 24 saate kadar önbellekte tutar. Yani bir düzeltme yaptığınızda etkisi hemen görünmeyebilir.

Yapay zekâ botları ve robots.txt

ChatGPT’nin GPTBot’u, Anthropic’in ClaudeBot’u ve PerplexityBot gibi tarayıcılar da robots.txt kurallarına bakar. Google’ın yapay zekâ modellerinin eğitiminde içeriğinizin kullanılmasını Google-Extended belirteciyle kapatabilirsiniz; Google’a göre bu, Google Arama’daki sıralamanızı etkilemez. Yine de dikkat: Yapay zekâ botlarını topyekûn kapatmak, markanızın ChatGPT gibi asistanların cevaplarında görünme şansını da azaltabilir. Bu dengeyi GEO nedir yazımızda ve yapay zekâya yönelik llms.txt dosyası rehberimizde anlattık.

Robots.txt dosyası nasıl test edilir?

Search Console’daki robots.txt raporu, Google’ın dosyanızı en son ne zaman okuduğunu ve bulduğu hataları gösterir. URL denetleme aracıyla da tek bir adresin bu kurallar tarafından engellenip engellenmediğini görebilirsiniz. Kurulumu Google Search Console nedir yazımızda adım adım anlattık. Yeni bir siteyi yayına alıyorsanız siteyi Google’a ekleme rehberindeki kontrol listesine bu dosyanın kontrolünü de ekleyin.

Bu dosya, teknik SEO’nun yalnızca bir parçası. Tarama, dizine ekleme, hız ve yapılandırılmış veriyi birlikte ele aldığımız teknik SEO hizmetimizde bu dosyayı her denetimin ilk adımında kontrol ediyoruz.

Robots.txt hakkında sıkça sorulan sorular