Сегодня 26 декабря, четверг ГлавнаяНовостиО проектеЛичный кабинетПомощьКонтакты Сделать стартовойКарта сайтаНаписать администрации
Поиск по сайту
 
Ваше мнение
Какой рейтинг вас больше интересует?
 
 
 
 
 
Проголосовало: 7278
Кнопка
BlogRider.ru - Каталог блогов Рунета
получить код
СоНоты
СоНоты
Голосов: 1
Адрес блога: http://notes.sochi.org.ru
Добавлен: 2008-04-30 01:13:55 блограйдером Lurk
 

Googlebot и robots.txt

2011-05-12 05:42:46 (читать в оригинале)

Похоже поддержку символов-джокеров (wildcard caharcters) для расширения шаблонов в robots.txt для Googlebot писали люди, слабо знакомые с этими самыми символами-джокерами. Если посмотреть пример использования в «Справочнике вебмастера» от Google: User-agent: * Allow: /*?$ Disallow: /*? Во-первых, тут Google взял на себя смелость расширить стандарт robots.txt для других ботов (секция с «User-agent: *» относится ко всем [...] Похожие записи:
  • Google и robots.txt
  • Google расширяет Robots Exclusion Protocol
  • Философский вопрос

Тэги: google

 


Самый-самый блог
Блогер ЖЖ все стерпит
ЖЖ все стерпит
по сумме баллов (758) в категории «Истории»
Изменения рейтинга
Категория «Музыка»
Взлеты Топ 5
+382
399
Follow_through
+328
331
שימותו הקנאים
+320
334
Tomas50
+317
357
krodico
+307
359
Ланин Сергей
Падения Топ 5


Загрузка...Загрузка...
BlogRider.ru не имеет отношения к публикуемым в записях блогов материалам. Все записи
взяты из открытых общедоступных источников и являются собственностью их авторов.