СоНоты Голосов: 1 Адрес блога: http://notes.sochi.org.ru Добавлен: 2008-04-30 01:13:55 блограйдером Lurk

Googlebot и robots.txt

2011-05-12 05:42:46 (читать в оригинале)

Похоже поддержку символов-джокеров (wildcard caharcters) для расширения шаблонов в robots.txt для Googlebot писали люди, слабо знакомые с этими самыми символами-джокерами. Если посмотреть пример использования в «Справочнике вебмастера» от Google: User-agent: * Allow: /*?$ Disallow: /*? Во-первых, тут Google взял на себя смелость расширить стандарт robots.txt для других ботов (секция с «User-agent: *» относится ко всем [...] Похожие записи:

• Google и robots.txt
• Google расширяет Robots Exclusion Protocol
• Философский вопрос