Robots.txt Nedir Nasıl Ouşturulur ?

Robots.txt Nedir ?

Robots.txt dosyası arama motorlarına yol gösterir. Bu dosya içerisinde küçük bir komut yazısı bulunur. Bu komut yazıları sizin sitenize olan erişimi göstermek amacıyla kullanılır. Tüm arama motorları siteyi tararken öncelikle robots.txt dosyasını okur. Bu dosya okunduktan sonra tarama işlemi başlar. Google botunun dosyaya erişip erişemeyeceğini robots.txt karar verir. Bu metin dosyasında birçok komut yazısı kullanılabilir. Robots.txt dosyasının yanlış kullanıma sahip olması sizin Google içerisinde sıralamanıza zarar verebilir. Robots.txt dosyası arama motorlarının sizin sitenizi görme şeklini belirler. Bu sayede sitenize olan etkileşim artar. Google arama motorunun sayfaya erişim iznin olduğunu anlaması için sayfayı ziyaret ettiğinde bakacağı ilk şey robots.txt dosyasıdır. Bu dosya girilip girilemeyeceğini Google’a bildirir. 
 

Robots.txt Dosyası

Sitenizde robots.txt dosyası olması şart değildir. Çoğu zaman robots.txt dosyasına ihtiyaç duyulmamaktadır. Arama motorlarında olmasını istemediğinizin bir içeriğinizin olması durumunda robots.txt dosyasını kullanabilirsiniz. Robots.txt doyasını içerisinde belirlenen metin yazısı ile kurallar belirlenir. Bu kurallar dahilinde tarama botlarına gereken talimatlar verilebilir. Bu talimatlar sayesinde ne olacağına net bir şekilde karar verebilirsiniz. Robots.txt dosyasına sahip olmanız sizin siteniz için SEO bakımından yardımcı olur ve işe yararlılığı arttırır.

 

Robots.txt Neden Önemlidir?

Robots.txt dosyası sitelerin hangi dosyayı indeksleyip indekslemeyeceğini söyleyen bir dosyadır. Bu dosya sayesinde çeşitli kurallar çizerek birçok duruma yön verilebilir. Google ve diğer tüm arama motorları sitelerdeki değişimleri görebilmek adına örümcek adında bir programa sahiptir. Bu programla sitelerdeki değişim kontrol edilir ve yeniler. Ancak bu program siteye girdikten sonra eğer robots.txt dosyası ile karşılaşırsa ona uygun kurallar çerçevesinde değişiklikleri kontrol edip yenilemektedir. Eğer robots.txt dosyası sizde yoksa bu program ile tüm sitenin taranmasını bekleyebilirsiniz. Robots.txt ile taranıp taranmayacağına karar vermek istediğiniz sayfalar hakkında bazı komut yazıları yazarak bu işlemin önüne geçebilirsiniz. 

Sitenizde görülmesini istemediğiniz bir sayfa olduğu zaman robots.txt dosyası ile bu durumun önüne geçebilirsiniz. Google botlarının sizin sitenizde belirli bir alanda tarama yapmasını bu dosya sayesinde komut vererek yönlendirebilirsiniz. Sitenizde robots.txt dosyasının olmaması sizin tüm sitenizin taranmasına neden olur. Ayrıca SEO açısında birçok faydası bulunur. Bu dosya sayesinde tekraralanan içeriği engelleyebilirsiniz.
Böylelikle SEO açısında bir kaybınız olmaz. Günümüzde birçok kişi robots.txt dosyasına nasıl ulaşacağını veya olup olmadığını bilmemektedir. Bu konular yüzeysel olarak ele alındığı için birçok kişinin dikkatini çekmemektedir. Sitenizde robots.txt dosyasının olup olmadığını öğrenmek istiyorsanız www.siteismi.com/robots.txt şeklinde aratmanız yeterlidir. Bu aratma sonucunda bazı talimatlara denk geldiyseniz sitenizde robots.txt dosyası bulunuyor demektir. 

 

Robots.txt Nasıl Oluşturulur?

Bir robots.txt dosyasının oluşturulması zor bir durum değildir. Stratejik olarak bu durumu kullanabilir ve sitenizin yapılandırılmasında kullanabilirsiniz. Robots.txt dosyası iki alandan oluşur. Googlebot üzerinden vereceğiniz komutta örnek olarak “/cms/” şeklinde yazaysanız bu dizinin tarama dışında tutulmasını sağlarsınız. Sitenizde bir görsel varsa ve bu görsellerin gizli kalmasını istiyorsanız bunun için /*.jpg$ şeklinde bir komut yazısı eklemelisiniz. Bu tarz kodlama bilgisiyle robots.txt dosyasını oluşturarak nelerin kontrol altına alınıp alınmayacağına karar verebilirsiniz. 

Ayrıca robots.txt başka bir dizine eklenememektedir. Bu dosyayı mutlaka ana dizine eklemeniz gerekmektedir. Dosyayı eklemeden önce adı mutlaka robots.txt dosyası olması gerekmektedir. Adı değiştirildiğinde veya farklı bir yere konulmak istediğine Googlebot tarafından dosyanız görünmeyecektir. Bu durum sitenizde standart bir tarama işleminin gerçekleşmesine neden olur.

 

Wordpress de Robots.txt Dosyası Nasıl Oluşturulur ?

Wordpress için robots.txt dosyası oluşturabilirsiniz. Bunun iki yolu bulunur. FTP sayesinde dosyanızı yeniden düzenleyebilirsiniz. Ayrıca eğer YOAST SEO eklentisi sizde bulunuyorsa bu uygulama üzeirnden robots.txt dosya düzenleme işlemini gerçekleştirebilirsiniz. Bu iki yoldan hangisi daha kolay geliyorsa birini seçerek oluşturma işlemini yapabilirsiniz.
 

Robots.txt Dosyası Bazı Örnekler

Googlebot tarafından sitenize tarama işlemi uygulamadan önce sitenizin bir klasörüne girilmesini istemiyorsunuz. Bu klasörün adı images klasörü olsun. Bunun için;

User-Agent: *
Disallow: /images/


Robots.txt dosyanız Googlebot, Googlebot- Image, Googlebot-News, Bingbot gibi birçok arama motoru botları tarafından aranır. 

Eğer klasörünüzün içerisindeki bazı dosyaları erişilebilir hale getirmek istiyorsanuz allow ve disallow u birlikte kullanmalısınız. Google görsel botlarının resimler klasörümüze gelmesini istemiyoruz ama klasörün içerisindeki buton ve logo görsellerini taranabilir olduğunu söylüyoruz.

User-agent: Googlebot-Image
Disallow: /resimler/
Allow: /resimler/buton/
Allow: /resimler/logo/


Bu iki örnekle nasıl bir dosya oluşturacağınız konusunda bilgiler edinebilirsiniz.