robots.txt Üretici

Bu araç ne işe yarar?

Robots.txt Oluşturucu, arama motoru botları için izin ve engelleme kurallarını görsel olarak tanımlayıp geçerli bir robots.txt dosyası üretir. Her User-agent için Allow/Disallow satırları, isteğe bağlı Crawl-delay ve site haritası URL'si ekleyerek dosyayı anında kopyalayabilirsiniz.

Nasıl kullanılır?

Yapılandırma bilgilerinizi girin.
Aracın ürettiği çıktıyı inceleyin.
Hazır kodu/dosyayı kopyalayın.

Birden çok User-agent kuralı yönetmek

Araç, farklı botlar için ayrı bloklar tanımlamanıza olanak tanır. Örneğin tüm botlar için bir yıldız (*) bloğu, Googlebot için ayrı bir blok ekleyebilirsiniz. Allow ve Disallow alanlarına her satıra bir yol yazarsınız; araç bunları otomatik olarak Allow: ve Disallow: satırlarına dönüştürür. Crawl-delay alanını boş bırakırsanız çıktıya hiç eklenmez, çünkü bu yönergeyi tüm botlar desteklemez ve Google bunu yok sayar.

robots.txt'yi doğru yerleştirmek

Dosya yalnızca alan adınızın kök dizininde, yani example.com/robots.txt adresinde çalışır; alt klasöre koymak işe yaramaz. robots.txt bir tarama yönergesidir, güvenlik aracı değildir: Disallow ile engellenen bir sayfa yine de başka bağlantılardan indekslenebilir. Gizli içeriği gerçekten korumak için kimlik doğrulama veya noindex meta etiketi kullanın. Dosyayı yayınlamadan önce çıktıyı kopyalayıp sunucunuzun köküne kaydedin.

Sıkça sorulan sorular

Crawl-delay satırını neden bazı durumlarda eklemeliyim?

Crawl-delay, botların istekleri arasındaki bekleme süresini saniye cinsinden ister ve sunucu yükünü azaltır. Bing ve Yandex destekler, ancak Googlebot bunu yok sayar; Google için tarama hızını Search Console'dan ayarlayın. Alanı boş bırakırsanız satır çıktıya eklenmez.

Allow ve Disallow alanlarına ne yazmalıyım?

Her satıra site kökünden başlayan bir yol yazın, örneğin /admin/ veya /api/. Disallow botların o yolu taramamasını, Allow ise engellenen bir üst dizin içindeki belirli bir yolun yine taranmasını söyler.

Site haritası URL'si zorunlu mu?

Zorunlu değildir ama önerilir. Sitemap satırı botlara tüm önemli sayfalarınızın listesini gösterir ve indekslemeyi hızlandırır. Boş bırakırsanız çıktıya Sitemap satırı eklenmez.