Ne anlama gelir?
Normalde noindex gibi direktifler sayfanın <head> bölümüne meta etiket olarak eklenir. Ancak HTML olmayan dosyalarda bu mümkün değildir — orada HTTP başlığı kullanılır.
Ne zaman gerekir?
| Dosya türü | Neden meta etiket kullanılamaz |
|---|---|
| HTML yapısı yok | |
| Görsel dosyaları | HTML yapısı yok |
| Video ve ses | HTML yapısı yok |
| Sıkıştırılmış dosyalar | HTML yapısı yok |
| Toplu sayfa grupları | Sunucu düzeyinde kural daha pratik |
Kullanım örneği
X-Robots-Tag: noindex
# Yalnızca belirli bir bota
X-Robots-Tag: googlebot: noindex, nofollow
# Belirli tarihten sonra indeksten çıkar
X-Robots-Tag: unavailable_after: 25 Dec 2026 15:00:00 GMTTipik kullanım senaryoları
- PDF dosyaları: İndirilebilir katalog ve broşürlerin indekslenmesini engellemek
- Test ortamları: Sunucu düzeyinde tüm alt alan adını kapatmak
- Süreli içerik: Etkinlik sonrası otomatik indeksten çıkarma
- Toplu kural: Belirli bir dizindeki tüm dosyalar
Kritik uyarı: robots.txt ile çakışma
Bu direktifin çalışması için botun dosyaya erişebilmesi gerekir. robots.txt ile engellenen bir dosyanın HTTP başlığı okunamaz ve direktif işlemez.
Yani bir sayfanın kesinlikle indekslenmemesini istiyorsanız:
- robots.txt ile engellemeyin
- X-Robots-Tag veya meta noindex kullanın
Kontrol yöntemi
Tarayıcı geliştirici araçlarında ağ sekmesinden yanıt başlıklarına bakın veya bir başlık kontrol aracı kullanın. Search Console URL denetimi de bu direktifi raporlar.
Yaygın sorun
Sunucu düzeyinde tanımlanan bir kural, unutulup canlı ortamda kalabilir. Sayfalar aniden indeksten düştüğünde HTTP başlıkları mutlaka kontrol edilmelidir — HTML kaynağında hiçbir iz görünmez.
Ne anlama gelir?
X-Robots-Tag, bir sayfanın indeksleme ve tarama davranışını, HTML meta etiketi yerine HTTP yanıt başlığı üzerinden kontrol etmenin yoludur. Meta robots etiketiyle aynı işlevleri (noindex, nofollow gibi) sunar; ancak sunucu düzeyinde çalıştığı için HTML olmayan dosyalar (PDF, görsel, video) için de kullanılabilir. Bu esneklik, onu ileri düzey teknik SEO'nun önemli bir aracı yapar.
Meta robots'tan farkı
- Meta robots: Yalnızca HTML sayfalarında, head bölümünde çalışır
- X-Robots-Tag: HTTP başlığında, her dosya türü için çalışır (PDF, görsel dahil)
Ne için kullanılır?
X-Robots-Tag'in en değerli kullanımı, HTML olmayan dosyaları indeksleme dışında tutmaktır. Örneğin aramada görünmesini istemediğiniz bir PDF belgesine meta robots ekleyemezsiniz (PDF'in head bölümü yoktur); ama X-Robots-Tag ile sunucu düzeyinde noindex uygulayabilirsiniz. Ayrıca çok sayıda sayfaya toplu kural uygulamak için de sunucu yapılandırmasında kullanılabilir.
Gerçek örnek
Bir site, çok sayıda PDF belgesinin aramada görünmesini istemiyordu ama meta etiket ekleyemiyordu. X-Robots-Tag ile sunucu düzeyinde bu PDF'lere noindex uygulandığında, belgeler aramadan çıkarıldı ve indeks temiz tutuldu.
Özet
X-Robots-Tag, indeksleme direktiflerini HTTP başlığı üzerinden veren yöntemdir. Meta robots'un aksine HTML olmayan dosyalarda (PDF, görsel) da çalışır; bu yüzden bu tür dosyaları indeks dışında tutmanın ve toplu kural uygulamanın ileri düzey aracıdır.