Robot.txt Dosyası Nedir?

Web sitenizin arama motorları tarafından nasıl taranacağı, hangi sayfaların görülebileceği ve hangilerinin dışarıda bırakılacağı gibi önemli detayları yöneten küçük ama etkili bir dosya: robots.txt

SEO çalışmalarınızda fark yaratmak istiyorsanız bu dosyanın yapısını, işlevini ve doğru kullanım yöntemlerini mutlaka bilmelisiniz.

Robots.txt Dosyası Nedir?

Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramayacaklarını söyleyen basit bir metin dosyasıdır. Bu dosya, “robots exclusion protocol” adı verilen bir standartla çalışır. Tarayıcılar siteye geldiğinde ilk önce robots.txt dosyasını okur ve yönergelerine göre hareket eder.

Dosya, Googlebot, Bingbot gibi farklı arama motoru botlarına özel direktifler verebilir. Özellikle tarama bütçesi yönetimi, güvenlik ve gereksiz indekslemenin önlenmesi gibi konularda kritik rol oynar.

Robots.txt Ne İşe Yarar?

• Belirli dizin veya sayfaların taranmasını engellemek.
• Tarama bütçesini optimize etmek.
• Arama motoru botlarına özel kurallar tanımlamak.
• Hassas veya alakasız sayfaların indekslenmesini engellemek (örneğin; admin panelleri, geçici sayfalar).
• Sitemap URL’sini belirtmek (bu, botların site haritanıza kolayca erişmesini sağlar).

Robots.txt bir güvenlik duvarı değildir. Taramayı engeller ama içeriğin tamamen gizlenmesini garanti etmez. Gizlilik gereken durumlarda noindex etiketi ya da kimlik doğrulama gibi yöntemler tercih edilmelidir.

Robots.txt Dosyasının Yapısı Nasıl Olur?

Robots.txt oldukça basit bir sözdizimine sahiptir. En sık kullanılan komutlar:

User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://www.kursadsualp.com/sitemap.xml

• User-agent: Hangi bot için kural tanımlandığını belirtir. * tüm botları kapsar.
• Disallow: Botun erişmesini istemediğiniz klasör veya sayfaları tanımlar.
• Allow: Disallow içindeki bir yolun istisnasını belirtir.
• Sitemap: Sitemap’in yerini bildirerek botların içeriklerinize daha kolay ulaşmasını sağlar.

En Sık Yapılan Robots.txt Hataları

Yanlış yapılandırılmış bir robots.txt dosyası, sitenizin arama motorları tarafından tamamen görmezden gelinmesine yol açabilir. Örneğin:

• Tüm siteyi engelleyen bir yapı:

User-agent: *
Disallow: /

• Disallow komutunun yanlış yazılması, /blog yerine blog gibi.
• Sitemap bilgisinin eksik veya yanlış formatta yazılması.
• Önemli sayfaların istemeden taramaya kapatılması (örneğin kategori sayfaları veya ürün sayfaları).

Bu nedenle robots.txt oluştururken mutlaka test edilmeli ve Google Search Console üzerindeki robots.txt test aracı kullanılmalıdır.

Robots.txt SEO’yu Nasıl Etkiler?

Doğru yapılandırılmış bir robots.txt dosyası:

• Arama motorlarının sitenizi daha etkili ve verimli taramasını sağlar.
• Gereksiz sayfaların indekslenmesini önleyerek sayfa otoritesinin dağılmasını engeller.
• Tarama bütçesini önemli sayfalara yönlendirir.
• Geçici sayfaların arama sonuçlarına çıkmasını engelleyerek kullanıcı deneyimini artırır.

Ancak bu dosyayı yanlış kullanmak, örneğin Disallow: / ile tüm sitenizi engellemek gibi, arama motorlarında görünmemenize neden olabilir. Bu da ciddi organik trafik kaybı anlamına gelir.

Robots.txt Dosyası Nasıl Oluşturulur?

1. Basit bir metin editörü (Notepad, VS Code, Sublime Text) ile yeni bir dosya oluşturun.
2. Yukarıda örneklediğimiz sözdizimini kendi sayfa yapınıza göre düzenleyin.
3. Dosyayı robots.txt olarak adlandırın.
4. FTP veya dosya yöneticisi kullanarak sitenizin ana dizinine yükleyin (https://www.siteadresiniz.com/robots.txt).
5. Google Search Console üzerinden dosyanızı test edin ve güncellemeleri bildirin.

Robots.txt ve Gelişmiş Kullanım Senaryoları

Büyük ölçekli projelerde, farklı bölümlere özel bot erişim izinleri tanımlamak gerekir. Örneğin;

User-agent: Googlebot
Disallow: /test/

User-agent: Bingbot
Disallow: /

Ayrıca, CDN kullanan sitelerde, farklı alan adlarından gelen bot erişimlerini de göz önünde bulundurmak gerekir. Robots.txt sadece SEO değil, veri güvenliği ve sunucu yükünü yönetme açısından da stratejik bir rol oynar.