New-webmasters Голосов: 1 Адрес блога: http://new-webmasters.ru Добавлен: 2011-09-30 15:02:06

Мэтт Каттс: почему в индекс Google попадают “запрещённые” в robots.txt URL?

2012-03-13 18:49:27 (читать в оригинале)

Здравствуйте, уважаемые читатели. Недавно (а точнее вчера) я столкнулся с проблемой индексирования запрещённых страниц в robots.txt. Как я это заметил? Увидел резкий прирост проиндексированных страниц. +2100 штук. Самому аж страшно стало! Первая реакция – опять взлом! Проверил – роботс в порядке. На Webmasters.Ru мне дали совет посмотреть одно видео – собственно то, которое я и