Robots.txt dosyası arama motorlarının siteniz uzerindeki hareketlerini kısıtlamak için kullanılan bir dosyadir. Arama motorları otomatik olrak hareket etmeye programlanmışlardır ve siteye ilk geldiklerinde robots.txt dosyasını var olup olmadıgına bakarlar. Eger arama motorlarını kısıtlamak istemiyorsaniz robots.txt dosyasına içerikli yada içeriksiz ihtiyaciniz yoktur.

Robots.txt dosyasi root folder diye adlandırılan index dosyanizin bulundugu yerde bulunmalıdır. Subdirectory denilen alt bolumler kullanıyorsanız buraya koyucagınız robots.txt dosyalarının bir faydasi olmayacaktır.
http://www.ornek.com/robots.txt gecerli bir yerdir.
http://www.ornek.com/sitem/robots.txt gecerli bir yer diildir.

Robotsçtxt dosyasını herhangi bir word programında yaratabilirsiniz. Fakat dosyayı ASCII olarak kaydetmeniz gerekicektir.

En basit dosyalarda kullanılan iki genel kural vardır.

• User-agent: Buraya aşagıda ki kuralın hangi bot için oldugunu yazmanız lazım.
• Disallow: Buraya o botun hangi sayfaları ziyaret etmesini istemediginiz gelicek.

Bu iki satır tek bir satır olarak kabul edilir ve bunun gibi bir çok satır ekleyebilirsiniz.

Kuralınızın her gelen bot için geçerli olmasini isterseniz üst satırı şu şekilde yazmaniz gerekir.

User-agent: *

İkinci satır için su komutları kullanabilirsiniz.

• Bütün siteyi bloklamak için

Disallow: /

• Alt bir dosyayı bloklamak için

Disallow: /private_directory/

• Herhangi bir sayfayi bloklamak için.

Disallow: /private_file.htmlNot:
Kullanılan URL’lerde büyük ve küçük harflere dikkat etmek gerekir.
Örnek olarak,
Disallow: /dosya.html komutu “http://www.ornek.com/dosya.html” dosyasını bloklayacak fakat “http://www.ornek.com/Dosya.html” dosyasını bloklamıyacaktır.

seoturk.com