Ne anlama gelir?
robots.txt, sitenizin kök dizininde (site.com/robots.txt) bulunan ve arama motoru botlarına hangi alanları tarayabileceklerini, hangilerini taramamaları gerektiğini bildiren bir metin dosyasıdır. Bot, siteye girmeden önce ilk olarak bu dosyaya bakar; yani sitenizin "giriş kapısındaki yönerge tabelası" gibidir.
Temel yapısı
Dosya, hangi botu (User-agent) ve hangi kuralı (Allow/Disallow) hedeflediğini belirten satırlardan oluşur:
User-agent: *
Disallow: /yonetim/
Disallow: /arama/
Sitemap: https://site.com/sitemap.xmlBuradaki * tüm botları hedefler; Disallow satırları belirtilen dizinlerin taranmamasını ister; Sitemap satırı ise site haritasının yerini bildirir.
Kritik ayrım: engellemek ≠ gizlemek
Bu, SEO'daki en yaygın ve en tehlikeli yanlış anlamadır. robots.txt yalnızca taramayı engeller, indekslemeyi garanti altına almaz. Başka sitelerden bağlantı alan bir sayfa, robots.txt ile taranması engellense bile, arama sonuçlarında adresiyle (çoğu zaman açıklamasız) görünebilir.
Bir sayfanın kesinlikle aramada çıkmamasını istiyorsanız noindex kullanın — ve o sayfayı robots.txt ile engellemeyin. Çünkü bot sayfayı tarayamazsa üzerindeki noindex etiketini de göremez ve direktif hiç işlemez. Bu iki aracın rolleri farklıdır ve karıştırılmamalıdır.
Tipik kullanım alanları
- Yönetim panelleri ve giriş sayfaları
- Site içi arama sonuç sayfaları
- Değersiz sonsuz filtre kombinasyonları
- Test ve geliştirme dizinleri
- Tarama bütçesini boşa harcatan gereksiz kaynak yolları
En pahalı hata
Geliştirme ortamındaki Disallow: / kuralının yayına alınırken kaldırılmaması. Bu tek satır, sitenin tamamının taranmasını engeller ve zamanla tüm sitenin aramadan silinmesine yol açabilir. Bir sitenin trafiği aniden ve topyekûn düştüğünde kontrol edilecek ilk yerlerden biri robots.txt dosyasıdır.
Sık sorulanlar
robots.txt gizlilik sağlar mı? Hayır. Aksine, engellediğiniz dizinleri herkese açıkça listelediği için hassas yolları buraya yazmak güvenlik açısından risklidir. Gizlilik için kimlik doğrulama (şifre) kullanılmalıdır.
Dosya olmazsa ne olur? robots.txt yoksa botlar her yeri tarayabilir sayar. Küçük sitelerde bu genellikle sorun değildir, ama büyük sitelerde tarama yönetimi için dosya önerilir.
Gerçek dünya örneği
Sık yaşanan bir senaryo şudur: bir işletme, indekslenmesini istemediği bir kampanya sayfasını gizlemek ister ve onu robots.txt ile Disallow yapar. Ancak sayfa başka sitelerden ve sosyal medyadan bağlantı aldığı için, Google onu tarayamadan indeksler ve arama sonuçlarında "Bu sayfa için açıklama yok" notuyla gösterir. İşletme sayfayı gizlemeye çalışırken, tam tersine onu açıklamasız ve kontrolsüz biçimde aramada bırakmış olur. Doğru çözüm, sayfayı robots.txt ile engellememek, bunun yerine üzerine noindex koymaktı; böylece bot sayfayı tarayıp "bunu indeksleme" direktifini görebilirdi. Bir başka klasik hata ise site yenileme sırasında geliştirme sunucusundaki "her şeyi engelle" kuralının yanlışlıkla canlıya taşınmasıdır; bu durumda site birkaç hafta içinde aramadan tamamen kaybolabilir. Bu iki örnek, robots.txt'in ne kadar basit görünse de yanlış kullanıldığında ne kadar yıkıcı olabileceğini gösterir. Bu yüzden robots.txt her yayın öncesi ve düzenli teknik denetimlerde mutlaka gözden geçirilmelidir.
Test etmeden yayına almayın
robots.txt üzerinde yapılan her değişiklik, tüm sitenin taranmasını etkileme potansiyeli taşıdığı için, yayına almadan önce mutlaka test edilmelidir. Search Console içindeki robots.txt test aracı, belirli bir adresin mevcut kurallarla taranıp taranamayacağını gösterir; böylece yanlışlıkla önemli bir dizini engelleyip engellemediğinizi önceden görürsünüz. Ayrıca kural yazarken sıralamaya dikkat edin: daha özel Allow kuralları, genel Disallow kurallarının içinden belirli yolları açmak için kullanılabilir. Küçük bir yazım hatası (örneğin yanlış bir eğik çizgi) bile beklenmedik dizinleri kapatabileceği için, dosyayı elle düzenledikten sonra birkaç kritik adresi test etmek iyi bir alışkanlıktır. robots.txt'i "bir kez yaz, unut" değil, her site değişikliğinde gözden geçirilen canlı bir yapılandırma olarak görmek gerekir.
Özet
robots.txt, taramayı yönlendiren güçlü ama yanlış kullanıldığında yıkıcı bir araçtır. "Taramayı engeller ama indekslemeyi engellemez" ayrımını içselleştirmek, en pahalı SEO hatalarından kaçınmanın anahtarıdır.