Блог о заработках в сети Интернет Голосов: 1 Адрес блога: http://networkjob.ru Добавлен: 2012-01-29 17:49:22 блограйдером rchrd Принадлежит блограйдеру rchrd

Как проверить robots.txt на корректность

2012-08-23 18:41:22 (читать в оригинале)

Успешное продвижение сайта может потребовать скрытия некоторых его разделов или страниц от «глаз» поисковой системы. Такие команды для поисковых машин содержаться в специальном файле, который называется robots.txt. Текстовый файл robots.txt служит для того, чтобы отдавать команды поисковой системе относительно того, какой сайт выводить в поисковую выдачу, а также в какой части его демонстрировать пользователям. Некорректно [...]