IT-Century - Век Информационных Технологий Голосов: 0 Адрес блога: http://www.it-century.ru Добавлен: 2012-07-11 08:58:05

Правильный robots.txt для WordPress

2012-05-28 09:59:22 (читать в оригинале)

Файл robots.txt - это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml и вообще, наличие этого файла – признак любого уважающего себя сайта. Не будем вдаваться в технические подробности, просто создадим в блокноте файл, обзовем его robots.txt и запишем туда следующее: 1234567891011121314151617181920212223242526272829User-agent: [...]