İnternet sitenizin arama motorlarıyla ilişkisini yöneten en önemli dosyalardan biri robots.txt dosyasıdır. Özellikle SEO (Arama Motoru Optimizasyonu) açısından doğru şekilde yapılandırılmış bir robots.txt dosyası, sitenizin arama motorlarında daha verimli taranmasını sağlar.
Bu makalede, robots.txt nedir, ne işe yarar, nasıl oluşturulur ve SEO açısından en iyi nasıl yapılandırılır gibi tüm soruların cevaplarını detaylı olarak bulabilirsiniz.
Robots.txt Nedir?
Robots.txt, bir web sitesinin kök dizininde yer alan düz metin dosyasıdır. Arama motoru botlarına (örneğin Googlebot, Bingbot) sitenizin hangi bölümlerini tarayıp taramayacaklarını bildirir.
Yani bu dosya, arama motoru robotlarına yol gösteren bir trafik polisi gibidir.
Robots.txt Ne İşe Yarar?
1. Tarama Trafiğini Yönetir
Bazı büyük sitelerde binlerce sayfa olabilir. Arama motorlarının sitenizi sürekli ve verimli taraması için bazı klasörlerin dışarıda bırakılması gerekir. Robots.txt, bu dengeyi sağlar.
2. Gizli veya Özel Sayfaları Engeller
Admin paneli, test sayfaları ya da kullanıcıya özel sayfaların arama motorlarında görünmesini istemiyorsanız robots.txt ile engelleyebilirsiniz.
3. SEO Performansını Artırır
Arama motorlarının sadece değerli sayfaları taramasını sağlayarak crawl budget (tarama bütçesi) tasarrufu sağlar. Bu da sitenizin daha hızlı indekslenmesine katkı sunar.
Robots.txt Nasıl Oluşturulur?
Bir metin düzenleyici (Notepad, VS Code vb.) açın.
Aşağıdaki örnek yapıları kullanarak dosyanızı oluşturun.
Dosyanın adını mutlaka robots.txt olarak kaydedin.
Web sitenizin ana dizinine (root) yükleyin. Örn: www.siteadi.com/robots.txt
Robots.txt Temel Yapısı
User-agent: *
Disallow:
User-agent: *→ Tüm botlar için geçerlidir.Disallow:→ Hiçbir klasör veya sayfa engellenmiyor. Yani tüm site taranabilir.
Yaygın Robots.txt Kullanım Örnekleri
1.Belirli bir klasörü engellemek
User-agent: *
Disallow: /admin/
Tüm botlar /admin/ klasörünü tarayamaz.2.Belirli bir sayfayı engellemek
User-agent: *
Disallow: /gizli-sayfa.html
3.Tüm siteyi engellemek (GELİŞTİRME AŞAMASINDA KULLANILIR)
User-agent: *
Disallow: /
Tüm sayfalar arama motorlarından gizlenir. Canlı sitede asla kullanmayın!4.Sadece belirli botlara izin vermek
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
Sadece Googlebot siteyi tarayabilir, diğer botlar engellenir.
5.Robots.txt ile Birlikte Kullanılan Sitemap.xml
Robots.txt dosyasının en altına Sitemap.xml dosyanızın bağlantısını da ekleyebilirsiniz:
Sitemap: https://www.siteadi.com/sitemap.xml
Bu, arama motorlarına sitenizin haritasını kolayca bulmalarını sağlar.
Robotks.txt Siteni Bulma
Robots.txt ile Birlikte KullanılanSitemap.xml
Robots.txt dosyasının en altınaSitemap.xmldosyanızın bağlantısını da ekleyebilirsiniz:
txt
Kopyala
DüzenleSitemap: https://www.siteadi.com/sitemap.xml
Bu, arama motorlarına sitenizin haritasını kolayca bulmalarını sağlar.
Robots.txt Nerede Görüntülenir?
Tarayıcınızın adres çubuğuna şu şekilde yazarak kontrol edebilirsiniz:
https://www.siteadi.com/robots.txt
Robots.txt Doğrulama ve Test
Google Search Console üzerinden robots.txt dosyanızı test edebilirsiniz:
- Google Search Console hesabınıza girin.
- “Robots.txt test aracı”nı açın.
- Kodunuzu yapıştırın ve test edin.
Dikkat Edilmesi Gerekenler
Robots.txt dosyası bir güvenlik aracı değildir! Sadece tarama talimatı verir, gerçek gizlilik için sunucu tarafı yetkilendirme gerekir.
Yanlış yapılandırmalar sitenizin arama motorlarında tamamen görünmez olmasına neden olabilir.
Disallow ile engellenmiş sayfalara noindex etiketi koymak anlamsızdır, çünkü botlar o sayfayı ziyaret etmeyecektir.
Dijital pazarlama ajansı Google Analytics Seo Seo Ajansı
Sık Sorulan Sorular
1.Robots.txt silinirse ne olur?
Hiçbir kısıtlama olmaz, arama motorları tüm siteyi tarayabilir.
2.Her sitede robots.txt zorunlu mu?
Hayır, zorunlu değildir. Ama büyük ya da dinamik yapılı siteler için önerilir.
3.SEO’ya etkisi var mı?
Doğru yapılandırıldığında dolaylı olarak çok önemli bir etkisi vardır.
Bonus: Robots.txt Hızlı Şablon (SEO Uyumlu)
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /login/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Sitemap: https://www.siteadi.com/sitemap.xml
Arama Motoru Optimizasyonu (SEO) Başlangıç Kılavuzu
Web sitenizi oluştururken muhtemelen kullanıcılarınızı göz önünde bulundurup içeriklerinizi bulmalarını ve keşfetmelerini kolaylaştırmaya çalışmışsınızdır. Bu kullanıcılardan biri de kullanıcıların içeriğinizi keşfetmesine yardımcı olan arama motorudur. Kısaca SEO olarak adlandırılan arama motoru optimizasyonu, arama motorlarının içeriğinizi anlamasına ve kullanıcıların da sitenizi bulup bir arama motoru aracılığıyla ziyaret edip etmeyeceklerine karar vermelerine yardımcı olur.
Arama Yönergeleri, web sitenizi Google Arama’da görünmeye uygun kılan en önemli noktaları özetler. Belirli bir sitenin Google’ın dizinine ekleneceği garanti edilmese de Arama Yönergeleri’ne uygun davranan sitelerin Google’ın arama sonuçlarında görünme olasılığı daha yüksektir. SEO, bir sonraki adımı atmak ve sitenizin Arama’daki varlığını iyileştirmek için çalışmaktır. Bu kılavuz, sitenizde yapabileceğiniz en yaygın ve etkili iyileştirmelerden bazıları hakkında bilgi verir.
Maalesef sitenizi Google’da otomatik olarak birinci sıraya yerleştirecek bir sır veremiyoruz. Hatta, önerilerimizden bazıları işletmeniz için geçerli bile olmayabilir. Ancak, en iyi uygulamaları kullanmanın, arama motorlarının (yalnızca Google’ın değil) içeriğinizi taramasını, dizine eklemesini ve anlamasını kolaylaştıracağını umuyoruz.
Google Arama nasıl çalışır?
Google, dizinimize eklenecek sayfalar aramak için tarayıcı adı verilen programları kullanarak web’i sürekli olarak keşfeden tam otomatik bir arama motorudur. Genellikle sitenizi web’de yayınlamak dışında bir şey yapmanız gerekmez. Aslında arama sonuçlarımızda listelenen sitelerin büyük çoğunluğu, web’i taradığımızda otomatik olarak bulunur ve eklenir. Daha fazla bilgi edinmeye istekliyseniz Google’ın web sayfalarını nasıl keşfettiği, taradığı ve sunduğu ile ilgili dokümanlarımıza göz atabilirsiniz.
Arama sonuçlarında ne kadar sürede etki görürüm?
Yaptığınız her değişikliğin, Google’ın tarafında yansıtılması biraz zaman alır. Bazı değişiklikler birkaç saat içinde geçerli olurken diğerlerinin geçerli olması birkaç ay sürebilir. Genelde yaptığınız çalışmanın, Google Arama sonuçlarında faydalı etkileri olup olmadığını değerlendirmek için birkaç hafta beklemeniz gerekebilir. Web sitenizde yaptığınız tüm değişikliklerin, arama sonuçlarında gözle görülür bir etkisi olmayacağını unutmayın. Sonuçlardan memnun değilseniz ve işletme stratejileriniz buna uygunsa değişikliklerde iterasyon yapmayı deneyin ve bir fark olup olmadığına bakın.
Google’ın içeriğinizi bulmasına yardımcı olun
Bu bölümde bahsedilen işlemleri yapmadan önce Google’ın içeriğinizi bulup bulmadığını kontrol edin (bu durumda herhangi bir işlem yapmanıza gerek olmayabilir). Google’da sitenizi site: search operator kullanarak aramayı deneyin. Sitenize yönlendiren sonuçlar görürseniz dizinde yer alıyorsunuz demektir. Örneğin, site:wikipedia.org araması bu sonuçları döndürür. Sitenizi görmüyorsanız sitenizin Google Arama’da gösterilmesini teknik açıdan engelleyen bir sorun olup olmadığını anlamak için teknik koşulları inceleyip buraya geri dönün.
Google, sayfaları öncelikli olarak taradığı diğer sayfalardaki bağlantılardan bulur. Bunlar çoğu durumda sayfalarınıza bağlantı veren diğer web siteleridir. Diğer sitelerin size bağlantı vermesi, zaman içinde kendiliğinden gerçekleşir. Ayrıca, sitenizi tanıtarak kullanıcıları içeriğinizi keşfetmeye teşvik edebilirsiniz.
Kendinize teknik açıdan meydan okumak isterseniz site haritası da gönderebilirsiniz. Site haritası, sitenizde önemsediğiniz tüm URL’leri içeren bir dosyadır. Bazı içerik yönetim sistemleri (İYS) bunu sizin adınıza otomatik olarak da yapabilir. Ancak bu zorunlu değildir ve öncelikle kullanıcıların sitenizden haberdar olmasını sağlamaya odaklanmanızı öneririz.