Продвижение Голосов: 1 Адрес блога: http://prodvizenie.info Добавлен: 2012-08-25 12:56:20

Файл robots.txt

2013-01-08 11:30:37 (читать в оригинале)

Файл robots.txt для сайта на WordPress
Продолжая серию статей «Сайт с нуля», и рассказывая о настройке сайта, переходим к одному небольшому, но очень важному моменту настройки сайта или блога — файлу robots.txt
Для чего нужен robots.txt
Одним из самых основных моментов оптимизации сайта под поисковые системы, является файл robots.txt.  Этот файл располагается в корневой папке вашего сайта и отвечает за индексацию вашего сайта поисковыми системами, указывая поисковым роботам, какие разделы сайта и файлы не стоит индексировать ( например папку wp-dmin, комментарии, поиск ...