Ne anlama gelir?
Googlebot, sayfaları ziyaret edip içeriklerini okuyan ve bağlantıları takip ederek yeni sayfalar keşfeden otomatik yazılımdır. "Örümcek" veya "crawler" olarak da anılır.
Nasıl çalışır?
- Keşif: Bilinen adreslerden, site haritalarından ve bağlantılardan yeni adresler bulunur
- Sıraya alma: Adresler öncelik sırasına konur
- Tarama: Sayfa istenir, sunucu yanıt verir
- İşleme: İçerik ayrıştırılır, bağlantılar çıkarılır
- Render (gerekirse): JavaScript çalıştırılır
- İndeksleme değerlendirmesi
Bot türleri
| Bot | Görevi |
|---|---|
| Mobil bot | Ana tarama — değerlendirme bunun üzerinden yapılır |
| Masaüstü bot | Sınırlı kullanım |
| Görsel botu | Görsel arama indeksi |
| Video botu | Video içerikleri |
| Haber botu | Haber içerikleri |
Tarama hızı ve bütçe
Bot, sunucunuzu zorlamamak için tarama hızını kendisi ayarlar. Sunucu yavaşlarsa veya hata verirse tarama hızını düşürür.
Bu nedenle sunucu performansı, tarama verimliliğini doğrudan etkiler. Sürekli 5xx hatası veren bir site, giderek daha az taranır.
Bot doğrulaması
Kullanıcı aracısı bilgisi taklit edilebilir. Loglarınızda "Googlebot" görünen her istek gerçek olmayabilir; kazıyıcılar ve kötü niyetli botlar sıklıkla bu kimliği kullanır.
Gerçek bot doğrulaması IP üzerinden ters DNS sorgusuyla yapılır. Bot trafiğine göre karar verecekseniz bu doğrulamayı yapın.
Bota özel davranış: cloaking riski
Bota kullanıcıdan farklı içerik sunmak ciddi bir politika ihlalidir. Ancak bazı durumlar meşrudur:
- Coğrafi konuma göre içerik sunma (tüm kullanıcılar için geçerliyse)
- Dinamik render (aynı içerik, farklı sunum yöntemi)
- Ödeme duvarı (yapılandırılmış veriyle bildirilirse)
Ölçüt: Botun gördüğü ile kullanıcının gördüğü özde aynı olmalıdır.
Nasıl yardımcı olunur?
- Site haritası sunun ve güncel tutun
- İç link yapısını sağlam kurun
- Sunucu yanıt süresini iyileştirin
- Değersiz adresleri taramaya kapatın
- Yönlendirme zincirlerini kısaltın
- Bağlantıları gerçek
<a href>etiketiyle verin
Ne anlama gelir?
Googlebot, Google'ın web'i taramak için kullandığı otomatik yazılımdır (bot / örümcek). Sayfaları ziyaret eder, içeriklerini okur ve bağlantıları takip ederek yeni sayfalar keşfeder. Topladığı bilgileri Google'ın indeksine gönderir. Kısacası, sitenizin Google aramasında görünmesinin ilk adımı olan tarama işini Googlebot yapar.
Nasıl çalışır?
- Bilinen adreslerden ve site haritalarından başlar
- Sayfaları ziyaret edip içeriklerini okur
- Bulduğu bağlantıları takip ederek yeni sayfalar keşfeder
- JavaScript ağırlıklı sayfalarda içeriği render ederek görür
Mobil öncelikli tarama
Googlebot bugün siteleri öncelikle mobil sürümüyle tarar (mobil öncelikli indeksleme). Yani sitenizin nasıl değerlendirileceğini büyük ölçüde mobil sürümü belirler. Mobilde eksik veya gizli olan içerik, masaüstünde bulunsa bile dikkate alınmayabilir. Bu yüzden Googlebot'un gördüğü mobil deneyimi optimize etmek kritiktir.
Tarama bütçesi
Googlebot her siteye sınırlı bir kaynak (tarama bütçesi) ayırır. Büyük sitelerde bu bütçenin değersiz sayfalara harcanmaması, önemli sayfaların sık taranması için kritiktir. Sunucunun hızlı ve hatasız olması da Googlebot'un tarama sıklığını artırır; yavaş veya sık hata veren sunucularda bot tarama hızını düşürür.
Gerçek örnek
Bir site, önemli sayfalarının Google'da geç görünmesinden şikâyetçiydi. Sunucu günlükleri incelendiğinde, Googlebot'un bütçesinin çoğunu değersiz filtre URL'lerine harcadığı görüldü. Bu URL'ler tarama dışı bırakılınca, bot önemli sayfalara yöneldi ve indeksleme hızlandı.
Sık sorulanlar
Googlebot'un sitemi nasıl gördüğünü görebilir miyim? Evet; Search Console'un URL denetleme aracı, Googlebot'un sayfayı render sonrası nasıl gördüğünü gösterir.
Googlebot JavaScript çalıştırır mı? Evet ama bu ek bir adımdır ve gecikebilir; kritik içeriği ilk HTML'de sunmak en güvenlisidir.
Özet
Googlebot, Google'ın web'i tarayan otomatik yazılımıdır; sayfaları okur, bağlantıları takip eder ve içeriği indekse gönderir. Bugün mobil öncelikli tarar ve sınırlı bir tarama bütçesiyle çalışır; sitenin ona sunduğu mobil deneyim ve teknik sağlık, tarama ve indekslemeyi belirler.