Robots.txt Oluşturucu

Bu Araç Hakkında

Bakın, bir web sitesiyle hiç uğraştıysanız, muhtemelen robots.txt dosyasını duymuşsunuzdur. Bu, arama motorlarına hangi sayfaların taranabileceğini ve hangilerinin taranamayacağını söylemek için sitenizin kök dizinine koyduğunuz küçük bir dosyadır. Teoride basit görünse de dikkatli olmazsanız kolayca hata yapabilirsiniz. İşte bu yüzden bu robots.txt oluşturucusu ortaya çıktı. Gereksiz şeyler yok. Karmaşık bir arayüz yok. Sadece engellemek istediğiniz şeyi yazın, "oluştur" düğmesine basın ve işiniz biter.

Bunu kendi sözdizimini (syntax) sürekli unuttuğum için yaptım. Yanlış yerde bir eğik çizgi koyarsanız birdenbire Google yönetici panelinizi dizine ekler. İdeal değil. Bu yüzden onuncu kez "robots.txt disallow syntax" araması yapmak yerine, bunu benim için yapan bir araç geliştirdim. Ve hey, bu araç sizin de aynı sıkıntıyı yaşamanızı engellerse ne güzel olur.

Önemli Özellikler

• Saniyeler içinde geçerli robots.txt dosyaları oluşturur—regex yok, kafa karışıklığı yok.
• Sitenizin belirli klasörlerini, dosyalarını veya bölümlerini engellemenize olanak tanır.
• Birden fazla kullanıcı aracısını (Googlebot, Bingbot vb.) destekler, böylece yalnızca bir tanesiyle sınırlı kalmazsınız.
• İsteğe bağlı site haritası (sitemap) bağlantısı içerir—ziyaretçi botların hayatını kolaylaştırmak için neden olmasın?
• Kopyala-yapıştır kullanıma hazır çıktı. Ekstra biçimlendirme yok. Saçmalık yok.
• Çevrimdışı çalışır. Verileriniz asla tarayıcınızdan ayrılmaz.

Sıkça Sorulan Sorular

Bu araç SEO'mu bozabilir mi?
Sadece siz ona bunu söylerseniz. Oluşturucu standart robots.txt kurallarına uyar. Yanlışlıkla CSS veya görsellerinizi engellerseniz, evet, bu sorunlara neden olur. Ama bu aracın değil, sizin hatanızdır. Her zaman engellediğiniz şeyi iki kez kontrol edin.

Bunu kullanmak için kod bilgisi gerekir mi?
Hayır. Sadece engellemek istediğiniz yolları (örneğin /admin veya /temp) yazın, kullanıcı aracılarınızı seçin ve devam edin. Bir klasör adı yazabiliyorsanız, bunu kullanabilirsiniz.