Ne anlama gelir?
Sunucu log dosyaları, siteye gelen her isteği kaydeder: kim istedi, hangi adresi, ne zaman, sunucu ne yanıt verdi. Bu kayıtlar arasında arama motoru botlarının istekleri de vardır.
Log analizi, "bot sitemi nasıl tarıyor" sorusunun tahmin değil kanıt düzeyinde yanıtıdır.
Diğer araçlardan farkı
| Kaynak | Ne söyler? |
|---|---|
| Tarama aracı | Sitede ne var |
| Search Console | Genel tarama istatistikleri |
| Log dosyaları | Botun gerçekte ne yaptığı — adres adres |
Hangi soruları yanıtlar?
- Bot hangi sayfaları en sık tarıyor?
- Önemli sayfalarım hiç taranıyor mu?
- Tarama kaynağı değersiz adreslere mi harcanıyor?
- Bot hangi hata kodlarıyla karşılaşıyor?
- Yeni içerik ne kadar sürede keşfediliyor?
- Tarama sıklığı zamanla artıyor mu azalıyor mu?
- Mobil ve masaüstü botları farklı mı davranıyor?
Tipik bulgular
- Tarama bütçesinin filtre adreslerine gitmesi: Büyük e-ticaret sitelerinde çok yaygın
- Ticari sayfaların nadiren taranması
- Silinmiş adreslerin aylarca taranmaya devam etmesi
- Yönlendirme zincirlerinde kaynak israfı
- Sahte bot trafiği: Kendini bot gibi tanıtan kazıyıcılar
Nasıl yapılır?
- Barındırma panelinden veya sunucudan erişim loglarını alın
- Bot isteklerini kullanıcı aracısına göre filtreleyin
- Doğrulama yapın: Kullanıcı aracısı taklit edilebilir; gerçek bot doğrulaması IP üzerinden yapılır
- Adres, yanıt kodu ve sıklığa göre gruplayın
- Tarama aracı verisiyle karşılaştırın
Kimin için gerekli?
Küçük sitelerde genellikle gereksizdir. On binlerce sayfalı siteler, büyük e-ticaret katalogları ve tarama sorunu şüphesi olan projeler için ise başka hiçbir yöntemin veremediği netlikte bilgi sunar.
Pratik not
Loglar hızla büyür ve barındırma sağlayıcıları genellikle sınırlı süre saklar. Analiz yapmayı planlıyorsanız, log saklama süresini önceden kontrol edin ve gerekirse artırın.
Ne işe yarar?
Log analizi (günlük dosyası analizi), sunucunun tuttuğu erişim kayıtlarını inceleyerek arama motoru botlarının sitenizde gerçekte ne yaptığını görme yöntemidir. Diğer araçlar tahmin veya örnekleme yaparken, log dosyaları botun hangi adresleri, ne sıklıkla ziyaret ettiğini ve hangi yanıt kodlarını aldığını kesin biçimde gösterir. Bu yönüyle tarama davranışını anlamanın en doğrudan yoludur.
Neyi ortaya çıkarır?
- Botun tarama bütçesini hangi sayfalara harcadığı
- Önemli sayfaların ne sıklıkla tarandığı
- Botun boşuna ziyaret ettiği değersiz URL'ler
- Botun karşılaştığı hatalar (404, 5xx)
- Hiç taranmayan (keşfedilmeyen) sayfalar
Özellikle kimin için değerli?
Log analizi, özellikle büyük siteler (e-ticaret, haber portalları, pazaryerleri) için değerlidir; çünkü bu sitelerde tarama bütçesi kritik bir kaynaktır. Log verisi çoğu zaman şaşırtıcı gerçekleri ortaya çıkarır: botun, kimsenin aramadığı filtre URL'lerinde vakit harcarken önemli kategori sayfalarını nadiren ziyaret ettiği görülebilir.
Gerçek örnek
Büyük bir mağazanın log analizi, Googlebot'un tarama bütçesinin yarısından fazlasını değersiz filtre kombinasyonlarına harcadığını gösterdi. Bu URL'ler tarama dışı bırakılıp bot önemli sayfalara yönlendirildiğinde, yeni ürünlerin indekslenme süresi belirgin biçimde kısaldı.
Sık sorulanlar
Küçük sitem için log analizi gerekli mi? Genellikle hayır; küçük sitelerde tarama sorun olmaz. Asıl değeri büyük ve karmaşık sitelerde ortaya çıkar.
Search Console yeterli değil mi? Search Console değerli ama örnekleme ve özet verir; log analizi ise botun gerçek, ham davranışını eksiksiz gösterir.
Özet
Log analizi, sunucu kayıtlarını inceleyerek botların sitede gerçekte ne yaptığını gösteren en doğrudan yöntemdir. Özellikle büyük sitelerde tarama bütçesi israfını ve indeksleme sorunlarını ortaya çıkararak veriye dayalı teknik SEO kararları sağlar.