Google Sitenizde Zamanını Çöp Sayfalarda Harcıyor

Googlebot sitenize her gün belirli bir kapasiteyle gelir. Bu kapasite sonsuz değildir: sunucunuzun dayanabileceği yük ve sitenizin Google gözündeki değeri, ne kadar sayfanın taranacağını belirler.

Sorun şu: Bu kapasitenin nerede harcanacağına siz karar vermezseniz, sistem karar verir. Ve çoğu büyük sitede sistem, zamanının büyük kısmını hiçbir arama değeri olmayan URL'lerde harcar.

Tarama bütçesi iki bileşenden oluşur

• Tarama kapasitesi limiti: Sunucunuzun kaldırabileceği yük. Site yavaşsa veya hata veriyorsa Google isteklerini azaltır — sitenizi yormamak için.
• Tarama talebi: Google'ın sitenizi tarama isteği. Popüler, sık güncellenen ve değerli içerik barındıran siteler daha çok talep görür.

Yani hem teknik sağlık hem içerik değeri bu denklemi etkiler.

Bu konu kimi ilgilendirir?

Küçük bir sitede indeksleme sorunu varsa, neden büyük ihtimalle tarama bütçesi değildir. Önce içerik kalitesi ve teknik erişimi kontrol edin.

Bütçeyi tüketen 8 tipik kaynak

1. Filtreleme (faceted navigation) kombinasyonları

En büyük tüketici genellikle budur. Renk × beden × fiyat × sıralama kombinasyonları çarpıldığında yüz binlerce URL oluşur. Her biri neredeyse aynı içeriği gösterir.

2. Sıralama ve görünüm parametreleri

?sirala=fiyat, ?gorunum=liste, ?sayfa_boyutu=48 — bunların hiçbirinin arama değeri yoktur ama her biri ayrı URL sayılır.

3. İç arama sonuç sayfaları

Kullanıcının site içinde yaptığı her arama yeni bir URL üretir. Bunlar taranmamalı ve indekslenmemelidir.

4. Oturum kimlikleri ve takip parametreleri

?sessionid=, ?utm_source=, ?fbclid= gibi parametreler aynı sayfanın sonsuz varyasyonunu yaratır.

5. Sonsuz takvim ve arşiv sayfaları

Takvim bileşenleri, geleceğe doğru sınırsız sayfa üretebilir. Bot 2087 yılının takvimini taramaya devam edebilir.

6. Yönlendirme zincirleri

Her zincir adımı ayrı bir istek demektir. Binlerce zincir, bütçenin önemli bir kısmını yer.

7. Kırık linkler ve hata sayfaları

404 veren URL'ler taranmaya devam eder. Çok sayıda hata, hem bütçe hem güven kaybıdır.

8. Yavaş sunucu

Yanıt süresi uzadıkça Google birim zamanda daha az sayfa tarayabilir. Hız, doğrudan tarama hacmini belirler.

Nasıl ölçülür?

Search Console → Tarama İstatistikleri

Bu rapor üç kritik veri sunar:

• Toplam tarama isteği: Günlük ortalama kaç istek yapılıyor?
• Ortalama yanıt süresi: Yükseliyorsa tarama hacmi düşecektir.
• Yanıt kodu dağılımı: 200 dışındaki kodların oranı yüksekse bütçe boşa gidiyor demektir.

Basit hesap: Günlük tarama isteği 2.000 ve sitenizde 200.000 URL varsa, tüm sitenin bir kez taranması 100 gün sürer. Bu, yeni içeriğinizin aylarca fark edilmemesi anlamına gelir.

Sunucu log analizi (en kesin yöntem)

Loglar, Googlebot'un gerçekte hangi URL'leri ziyaret ettiğini gösterir. Analiz ettiğinizde çoğu sitede şu tabloyla karşılaşılır: taramaların büyük bölümü, hiç arama değeri olmayan parametreli adreslere gidiyordur.

Optimizasyon adımları

Adım 1 — Değersiz URL'leri taramaya kapatın

User-agent: *
Disallow: /*?sirala=
Disallow: /*?gorunum=
Disallow: /*?sessionid=
Disallow: /arama/
Disallow: /sepet/

Dikkat: Arama hacmi olan filtre kombinasyonlarını kapatmayın. "Siyah deri ceket" aranıyorsa o sayfa değerlidir; kapatılması gereken sıralama ve görünüm parametreleridir.

Adım 2 — Kopyaları kanonikle birleştirin

Taranması gereken ama indekslenmesi gerekmeyen sayfalarda kanonik etiket kullanın. Bu, bütçeyi doğrudan azaltmaz ama dizin kirliliğini önler.

Adım 3 — Site haritasını temiz tutun

Yalnızca indekslenmesini istediğiniz URL'leri listeleyin. Bot, site haritasını öncelikli bir yol haritası olarak kullanır.

Adım 4 — Sunucu hızını iyileştirin

Yanıt süresini düşürmek, tarama hacmini doğrudan artırır. Önbellekleme, veritabanı optimizasyonu ve CDN bu noktada etkilidir.

Adım 5 — Hataları temizleyin

404 ve 5xx hatalarını düzenli olarak giderin. Sürekli hata veren bir site, taranma sıklığını kaybeder.

Adım 6 — Zincirleri kısaltın

Her yönlendirme bir istektir. Zincirleri tek adıma indirmek, bütçede gözle görülür rahatlama sağlar.

Adım 7 — İç linklemeyi güçlendirin

Önemli sayfalara çok sayıda iç link vermek, botun onları öncelikli görmesini sağlar. Derinde kalan sayfalar geç taranır.

Ne beklemelisiniz?

Tarama bütçesi optimizasyonu anında sonuç veren bir çalışma değildir. Tipik seyir şöyledir:

• 1-2 hafta: Taranan URL sayısında düşüş (çöp URL'ler elendiği için — bu iyi bir işarettir).
• 3-6 hafta: Değerli sayfaların taranma sıklığında artış.
• 2-3 ay: İndekslenen sayfa sayısında ve organik görünürlükte iyileşme.

Tarama bütçesi hangi siteler için gerçekten önemli?

Tarama bütçesi kavramı SEO tartışmalarında sık geçse de, dürüst gerçek şudur: birkaç yüz sayfalık siteler için pratikte hiç sorun oluşturmaz. Googlebot bu ölçekteki bir siteyi zaten kolayca ve düzenli olarak tarar. Tarama bütçesi asıl olarak on binlerce, yüz binlerce URL'ye sahip büyük sitelerde — geniş kataloglu e-ticaret siteleri, çok sayfalı yayıncılar, kullanıcı üretimi içerik platformları — kritik hale gelir. Bu ölçekte Googlebot'un her sayfayı her gün ziyaret etmesi mümkün değildir; hangi sayfaların ne sıklıkla taranacağına dair bir öncelik sırası oluşur ve bu sıranın yanlış sayfalarla dolması, değerli içeriğin güncellemelerinin geç fark edilmesi anlamına gelir.

Bu yüzden tarama bütçesi optimizasyonuna girişmeden önce sorulacak ilk soru, sitenizin bu sorunu gerçekten yaşayıp yaşamadığıdır. Küçük bir siteyi tarama bütçesi için "optimize etmeye" çalışmak, olmayan bir sorunu çözmeye zaman harcamaktır; o enerji içerik kalitesine veya iç bağlantıya yönlendirildiğinde çok daha fazla değer üretir.

Log dosyaları: botun gerçekte ne yaptığını görmek

Tarama bütçesini tahminle yönetmek yerine, sunucu log dosyalarını inceleyerek Googlebot'un sitenizde gerçekte nasıl davrandığını doğrudan görebilirsiniz. Sunucu logları, her isteği — hangi botun hangi adrese ne zaman geldiğini ve sunucunun ne yanıt verdiğini — kaydeder. Bu logları analiz ettiğinizde çoğu zaman şaşırtıcı bir tablo çıkar: Googlebot'un zamanının önemli bir kısmını değersiz filtre URL'lerinde, eski yönlendirmelerde veya kimsenin ilgilenmediği eski arşiv sayfalarında harcadığını görürsünüz.

Log analizi, tarama bütçesi teşhisinin en güçlü aracıdır çünkü varsayımları gerçek veriyle değiştirir. Hangi sayfaların hiç taranmadığını, hangilerinin gereksiz yere sık tarandığını ve botun hangi hatalarla karşılaştığını net biçimde ortaya koyar. Bu veriye dayanarak yapılan optimizasyon — değersiz alanları engellemek, gereksiz yönlendirmeleri temizlemek, önemli sayfalara iç bağlantıyı güçlendirmek — tahmine dayalı müdahalelerden çok daha isabetlidir.

Filtreli gezinme tuzağı

Büyük sitelerde tarama bütçesini en hızlı tüketen yapı, filtreli gezinme (faceted navigation) sistemleridir. Bir e-ticaret kategorisinde renk, beden, marka, fiyat aralığı ve sıralama seçeneklerinin her kombinasyonu ayrı bir URL üretebilir; birkaç filtre bir araya geldiğinde tek bir kategoriden binlerce, hatta on binlerce benzersiz adres doğar. Googlebot bu adresleri ayrı sayfalar sanıp tek tek taramaya çalıştığında, sonsuza yakın bir alanda kaybolur ve gerçek ürün sayfalarına ayıracak bütçesi kalmaz.

Bu tuzağı kapatmanın yolu katmanlıdır: kullanıcı için değer taşımayan filtre kombinasyonlarını robots.txt ile taramaya kapatmak, filtreli sayfaların ana kategoriye kanonik vermesini sağlamak ve bu sayfalara iç bağlantı vermekten kaçınmaktır. Amaç, kullanıcıların filtreleri kullanabilmesini sağlarken arama motorunun bu sonsuz varyasyon alanına hiç girmemesini güvence altına almaktır.

Yumuşak 404'ler ve ince içerik

Tarama bütçesini sessizce tüketen bir başka kaynak, "yumuşak 404" (soft 404) sayfalarıdır. Bunlar, aslında içeriği olmayan ama sunucunun yanlışlıkla "başarılı" kodu döndürdüğü sayfalardır — örneğin "sonuç bulunamadı" diyen bir arama sonuç sayfası veya stokta kalmamış bir ürünün boş sayfası. Google bu sayfaları gerçek içerik sanıp taramaya devam eder, ama değer bulamaz. Benzer biçimde, birbirine çok benzeyen yüzlerce ince içerikli sayfa da botun zamanını yer. Bu sayfaları tespit edip ya gerçek içerikle zenginleştirmek, ya birleştirmek, ya da doğru biçimde 404/410 döndürmelerini sağlamak, tarama bütçesini gerçek değere yönlendirir.

Sunucu hızı ve tarama oranı ilişkisi

Tarama bütçesinin az konuşulan bir bileşeni sunucu hızıdır. Googlebot, sitenizi tararken sunucunuza aşırı yük bindirmemeye çalışır; sunucunuz isteklere yavaş yanıt veriyorsa veya hata döndürmeye başlıyorsa, bot tarama oranını düşürür. Tersine, hızlı ve istikrarlı yanıt veren bir sunucu, botun daha çok sayfayı daha kısa sürede taramasına olanak tanır. Yani sayfa hızını iyileştirmek yalnızca kullanıcı deneyimi ve sıralama için değil, aynı zamanda tarama bütçesini büyütmek için de doğrudan bir kaldıraçtır. Sunucu tepki süresini düşük tutmak, büyük sitelerde tarama verimliliğinin görünmez ama güçlü bir belirleyicisidir.

Tarama bütçesini iç bağlantıyla yönlendirmek

Googlebot bir siteyi tararken öncelikle çok bağlantı alan sayfalara yönelir; iç bağlantı yapısı, botun dikkatini yönlendiren en doğal araçtır. En önemli sayfalarınız ana sayfadan ve ilgili içeriklerden güçlü iç bağlantılar alıyorsa, bot bunları önemli sayar ve sık tarar. Buna karşılık hiçbir sayfadan bağlantı almayan yetim sayfalar taramada geri planda kalır. Tarama bütçesini bilinçli yönetmek, değerli sayfalara giden iç bağlantıları güçlendirmek ve değersiz alanlara giden gereksiz bağlantıları azaltmak demektir. Böylece hem kullanıcıya hem bota "burası önemli, şurası değil" mesajı net biçimde verilir.

Sık sorulan sorular

Tarama bütçemi Search Console'da görebilir miyim? Evet, "Tarama İstatistikleri" raporu Googlebot'un sitenizde günlük kaç istek yaptığını, ne kadar veri indirdiğini ve ortalama yanıt süresini gösterir; bu, genel tarama etkinliğini anlamak için iyi bir başlangıçtır.

Yeni sayfalarım geç indeksleniyor, bu tarama bütçesi sorunu mu? Büyük bir sitede olabilir, ama küçük bir sitede neredeyse hiçbir zaman değildir. Küçük sitelerde geç indeksleme genellikle içerik kalitesi, iç bağlantı eksikliği veya kanonik sorunlarından kaynaklanır.

robots.txt ile engellemek tarama bütçesini korur mu? Evet, değersiz alanları taramaya kapatmak botun bütçesini gerçek içeriğe ayırmasını sağlar; bu, büyük sitelerde en doğrudan optimizasyon yöntemlerinden biridir.

Tarama bütçesi bir sıralama faktörü müdür? Hayır, doğrudan bir sıralama faktörü değildir. Ancak önemli sayfalarınızın taranıp güncellenmesini etkilediği için, dolaylı olarak görünürlüğünüzü ve güncellemelerinizin ne kadar hızlı yansıdığını belirler.

Tarama bütçesi ve site haritasının rolü

İyi yapılandırılmış bir XML site haritası, tarama bütçesini yönetmenin en dolaysız araçlarından biridir çünkü Googlebot'a "işte gerçekten önemsediğim, taranmasını istediğim sayfalar" listesini doğrudan verir. Site haritanız yalnızca indekslenebilir, kanonik ve değerli sayfaları içeriyorsa, bot bu listeyi bir öncelik rehberi olarak kullanır ve enerjisini bu sayfalara yoğunlaştırır. Buna karşılık site haritanız yönlendirme veren, 404 döndüren veya noindex içeren sayfalarla doluysa, bota çelişkili sinyaller gönderir ve site haritasının yönlendirici gücü zayıflar.

Büyük sitelerde site haritasını içerik türüne göre bölmek, tarama bütçesi teşhisini de kolaylaştırır. Ürünler, kategoriler ve blog yazıları ayrı site haritalarında olduğunda, Search Console'da her grubun indekslenme oranını ayrı görebilir ve botun hangi bölümde zorlandığını tespit edebilirsiniz. Bu görünürlük, tarama bütçesi sorunlarını doğru yerde aramanızı sağlar.

Büyük sitelerde önceliklendirme stratejisi

Yüz binlerce sayfalı bir sitede tüm sayfaların eşit sıklıkla taranması mümkün değildir; bu yüzden akıllı bir strateji, sayfaları değerlerine göre katmanlara ayırmaktır. En üst katmanda gelir getiren, yüksek trafikli ve sık güncellenen sayfalar bulunur; bunların hızlı ve sık taranması sağlanmalıdır. Orta katmanda düzenli ama daha az kritik içerik yer alır. En alt katmanda ise arşiv niteliğindeki, nadiren değişen ve düşük değerli sayfalar bulunur; bunların seyrek taranması tamamen kabul edilebilir. Bu katmanlandırmayı iç bağlantı yoğunluğu, site haritası düzenlemesi ve gerektiğinde robots.txt ile hayata geçirmek, botun sınırlı zamanını doğru yere yönlendirmenin özüdür.

Önceliklendirmenin bir diğer boyutu, yeni ve güncellenen içeriğin botun dikkatine hızla ulaşmasını sağlamaktır. Yeni bir önemli sayfa yayınlandığında, ona ana sayfadan veya yüksek otoriteli ilgili sayfalardan bağlantı vermek, botun onu daha çabuk keşfetmesini sağlar. Böylece tarama bütçesi yalnızca korunmakla kalmaz, en değerli anlarda en değerli içeriğe yönlendirilmiş olur.

Tarama bütçesi hakkında yaygın yanlış inanışlar

Tarama bütçesi konusunda dolaşan birkaç yanlış inanış, site sahiplerini gereksiz çabaya yöneltir. Birincisi, her sitenin tarama bütçesini "optimize etmesi" gerektiği inancıdır; oysa küçük ve orta ölçekli sitelerin ezici çoğunluğunda bu bir sorun bile değildir. İkincisi, sayfa sayısını azaltmanın her zaman iyi olduğu düşüncesidir; gerçekte değerli ve benzersiz içerik taşıyan sayfaları silmek, tarama bütçesi uğruna görünürlükten feragat etmek anlamına gelir. Asıl hedef sayfa sayısını azaltmak değil, değersiz ve tekrarlı sayfaları temizleyip botun dikkatini gerçek değere odaklamaktır. Üçüncüsü ise priority etiketinin tarama sıklığını belirlediği yanılgısıdır; Google bu etiketi büyük ölçüde göz ardı eder ve tarama önceliğini sayfanın gerçek değerine ve bağlantı profiline göre belirler.

Tarama bütçesini bir bütçe gibi yönetmek

Tarama bütçesi kavramını en iyi anlatan benzetme, onu gerçek bir mali bütçe gibi düşünmektir. Sınırlı bir kaynağınız vardır ve bu kaynağı nereye harcadığınız, sonuçta ne elde ettiğinizi belirler. Botun her ziyareti bir harcamadır; değersiz filtre sayfalarında, kırık yönlendirmelerde ve ince içerikte yapılan her tarama, gelir getiren gerçek sayfalara ayrılmayan bir bütçedir. İyi bir tarama bütçesi yönetimi, tıpkı iyi bir mali yönetim gibi, israfı kesip kaynağı en yüksek getirili alanlara yönlendirmektir.

Bu bakış açısı, tarama bütçesi çalışmalarını somut bir önceliklendirmeye dönüştürür. Önce en büyük israf kaynaklarını (sonsuz filtre kombinasyonları, yönlendirme zincirleri, tekrarlı sayfalar) tespit edip kapatırsınız; sonra tasarruf ettiğiniz bütçeyi güçlü iç bağlantı ve temiz bir site haritasıyla değerli sayfalara yönlendirirsiniz. Sonuç, botun sitenizde geçirdiği her dakikanın gerçek karşılığını almasıdır: önemli içeriğiniz daha hızlı taranır, güncellemeleriniz daha çabuk yansır ve büyük sitenizin en değerli bölümleri arama sonuçlarında hak ettiği görünürlüğe kavuşur.

Nereden başlamalı?

Tarama bütçesi büyük bir konu gibi görünse de, işe koyulmanın pratik bir sırası vardır. İlk adım teşhistir: Search Console'un tarama istatistikleri raporunu ve mümkünse sunucu loglarını inceleyerek botun zamanını nerede harcadığını görün. İkinci adım en büyük israf kaynağını kapatmaktır; çoğu sitede bu, filtreli gezinme sayfaları veya eski yönlendirme zincirleridir. Üçüncü adım, site haritanızı ve iç bağlantılarınızı yalnızca değerli sayfalara işaret edecek biçimde temizlemektir. Bu üç adımı sırayla ve ölçerek uygulamak, tarama bütçesi optimizasyonunu soyut bir kaygıdan somut ve sonuç veren bir çalışmaya dönüştürür.

Özet

Tarama bütçesi, büyük sitelerin en sinsi sorunudur: Hiçbir hata mesajı vermez, sadece içerikleriniz sıraya girmez. Çözüm, Google'ın dikkatini değerli sayfalara yönlendirmektir.

Kısaca: çöp URL'leri kapatın, hataları temizleyin, hızı artırın, site haritasını dürüst tutun.

Sitenizin tarama verimliliğini değerlendirmemizi isterseniz ücretsiz analiz talep edebilir, teknik SEO hizmetimizi inceleyebilirsiniz.