Artemoff.net Голосов: 1 Адрес блога: http://artemoff.net Добавлен: 2012-11-18 22:35:30

Создаем файл robots.txt для Wordpress

2012-07-15 12:25:24 (читать в оригинале)

Вопрос: Для чего нужен файл robots.txt -?! Ответ: robots.txt это текстовой файл, предназначенный для поисковых роботов. Является частью внутренней оптимизации любого сайта. Поисковый робот, прежде чем обратиться к вашему сайту, всегда сначала ищет robots.txt, в котором для него прописаны инструкции, что именно он должен проиндексировать, какие файлы или папки не трогать. Кроме того, robots.txt также должен содержать [...]