СоНоты Голосов: 1 Адрес блога: http://notes.sochi.org.ru Добавлен: 2008-04-30 01:13:55 блограйдером Lurk

Опять Яндекс и robots.txt

2011-08-25 18:23:29 (читать в оригинале)

Яндекс заявляет о поддержке директивы Crawl-Delay своими роботами. Однако, хотя robots.txt сайта inet-sochi.ru явно указывает, что не желает видеть бота Яндекса чаще раза в секунду (указав Crawl-Delay: 1), бот же Яндекса совершенно этой просьбе не следует (вернее программеры не допрограммировали или менеджеры не донесли до программеров, что он них требуется – не суть важно). 93.158.147.12 [...] Похожие записи:

• Яндекс и robots.txt
• Непонятки, Google Desktop (?)
• Яндекс и robots.txt