Seofilia - Любители ли вы SEO так, как люблю его я? Голосов: 1 Адрес блога: http://seofilia.ru Добавлен: 2010-07-29 18:43:34 блограйдером TIMALEXX84

Как создать робота, или что такое Robots.txt?

2012-09-23 15:02:29 (читать в оригинале)

Любой сайт периодически проверяется поисковыми роботами, которые оценивают статистику его посещений и прочие поведенческие факторы с тем, чтобы объективно определить место площадки при ранжировании по определённым поисковым запросам. При этом владелец сайта может в некотором смысле управлять процессом взаимодействия поисковых роботов с площадкой. Это возможно с использованием инструмента Robots.txt. Что такое Robots.txt? Прежде чем создать робота — [...]