Интернет - глобальная сеть Голосов: 0 Адрес блога: http://internet.degavo.ru Добавлен: 2013-01-18 21:45:35

Подробности о файле robots.txt

2012-12-29 20:51:50 (читать в оригинале)

На каждом сайте есть такой файл, который называется robots.txt Это набор инструкций для поисковых роботов, которые сканируют страницы сайта. Чем больше страниц просканировано таким ботом, тем больше вероятность, что информация с интернет-страницы попадёт в поисковую выдачу и читатели найдут то, что автор сайта написал. Файл robots.txt создаётся в текстовом редакторе, а затем загружается в корневую [...]