Добавяне на robots.txt към сайт

Robots.txt е файл, подпомагащ търсещите машини в индексирането на сайтовете. Поставя се в главната директория на сайта. В него се описват директориите, в които не искате търсачките да индексират – /admin, /includes и др., като може да се дефинират различни права за отделните търсачки. Също така можете да добавите и сайтмап, съдържащ описание на страниците в сайта.

Пример robots.txt файл:

# robots.txt file for http://www.example.com/
Sitemap: http://www.example.com/sitemap.xml

User-agent: *
Disallow: /includes/
Disallow: /administration/
Disallow: /foo.html
Allow:/

Етикети: seo оптимизация, индексиране

Публикувано на 23.08.2009 в 23:37 в категории SEO съвети.Можете да следите коментарите по тази публикация чрез RSS 2.0 хранилката. Можете да оставите коментар, или да използвате trackback от вашия блог.