Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol netleştirmek için önemlidir ve bir robots.txt dosyası koymak için gerçeği (yani bir güvenlik duvarı veya şifre koruması ) gibi bir şeydir Bir kilidi kapıya ", girmeyiniz Lütfen" not koyarak - örn geliyor hırsızlar engel olamaz ama iyi adamlar kapı açın ve girmeyecektir.

Robots.txt'nin konumu çok önemlidir. Aksi takdirde kullanıcı arayüzlerinin (arama motorları) bulmak mümkün olmayacaktır çünkü ana dizinde olmalıdır -Sitenizde robots.txt adlı bir dosya olmalıdır adı değişik olmamalıdır. Bunun yerine, botlar ( ana dizinde ilk bakacakları yer siteadı/robots.txt ) ve robots.txt dosyası olmadığını varsayalım ve bu nedenle onlar yol boyunca ana dizinde robots.txt ararlar.