Robot.txt Nedir ve Ne İşe Yarar?

Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol netleştirmek için önemlidir ve bir robots.txt dosyası koymak için gerçeği (yani bir güvenlik duvarı veya şifre koruması ) gibi bir şeydir Bir kilidi kapıya ", girmeyiniz Lütfen" not koyarak - örn geliyor hırsızlar engel olamaz ama iyi adamlar kapı açın ve girmeyecektir.

Robots.txt'nin konumu çok önemlidir. Aksi takdirde kullanıcı arayüzlerinin (arama motorları) bulmak mümkün olmayacaktır çünkü ana dizinde olmalıdır -Sitenizde robots.txt adlı bir dosya olmalıdır adı değişik olmamalıdır. Bunun yerine, botlar ( ana dizinde ilk bakacakları yer siteadı/robots.txt ) ve robots.txt dosyası olmadığını varsayalım ve bu nedenle onlar yol boyunca ana dizinde robots.txt ararlar.

Robots.txt Dosyasının içeriği

Disallow kullanarak index istemediğiniz yeri belirleyebilirsiniz Disallow kullandığınızda arama motoru indexlemiyecek ve arama botlar girmiyecektir

Örnek ana dizinde bulunan robots.txt dosyası

User-agent: *
Disallow: / temp /
User-agent: Googlebot
Disallow: / images /
Disallow: / temp /
Disallow: / cgi-bin /

Sitenizi indexlenmeye kapatmak için komut:

User-agent: *
Disallow: /

Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için..

User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg

Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız,işte komutunuz;

User-agent: Googlebot-Image
Disallow: /

Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;

User-Agent: *
Disallow: /ozel-dosya