Какой рейтинг вас больше интересует?
|
Главная / Главные темы / Тэг «googlebot»
< ...
+ развернуть текст сохранённая копия
Привет, Хабр! Поиск Google развивается, и вместе с ним развиваются и сопутствующие инструменты. В ближайшем будущем обновится агент пользователя робота Googlebot, который отвечает за «мобильное» направление поиска. В настоящее время useragent выглядит так:
Текущий useragentMozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
С 18 апреля 2016 года будет использоваться новый агент пользователя Google Smartphone:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Причина подобных изменений — новые возможности поискового робота. Каждый раз, как наш робот получает значимое обновление и возможность обрабатывать страницы, которые используют самые актуальные технологии. В данном случае, новый формат строки говорит о том, что технически робот Google теперь ближе к браузеру Chrome, а не Safari.
Читать дальше →
Тэги: chrome, google, googlebot, smartphone, useragent, агент, блог, веб, веб-дизайн, веб-разработка, изменение, инструмент, компании, мобильный, поисковые, поисковый, пользователи, робот, сайт, технологии
[Перевод] Сканирование и индексирование страниц на нескольких языках 2015-01-29 18:09:31
... IP. Сканирующий робот Googlebot — не пользователь, сам ...
+ развернуть текст сохранённая копия
Многие крупные сайты ежедневно привлекают посетителей не только в стране, из которой они родом. Для посетителей-иностранцев делаются локализованные версии: какие-то переведены лучше, какие-то хуже, на одних информации столько же, сколько на родном для сайта языке, на других — совсем немного. Тем не менее, поисковой системе Google проиндексировать контент на многоязычных сайтах бывает нелегко.
Зачастую, выбор, на каком языке отдавать информацию по-умолчанию, сделан либо вручную с сохранением информации о выбранном языке в cookies, либо автоматически: по языковым настройкам браузера, операционной системы, с помощью геолокации и определения страны / города по IP. Сканирующий робот Googlebot — не пользователь, сам язык не выберет, а автоматическая система определения не распознает его и не выдаст все языки сразу, так что для правильной индексации контента потребовалось приложить некоторые усилия.
Решаем проблему индексации многоязычных сайтов
Тэги: accept-language, google, googlebot, multilingual, web-разработка, автоматизация, блог, веб-разработка, данных, компании, краулер, локализация, машины, многоязычный, обновление, поисковые, сайт, сбор, сканирование, технологии
Веб-разработка / Инструкция Google по правильному отключению сайтов 18 января 2012-01-17 15:24:35
Википедия (en), Reddit, Minecraft.net и другие сайты завтра уходят в офлайн в знак протеста против ...
+ развернуть текст сохранённая копия
Википедия (en), Reddit, Minecraft.net и другие сайты завтра уходят в офлайн в знак протеста против SOPA. Таким образом, они надеются привлечь внимание широкой публики к этому законопроекту, который фактически вводит цензуру в интернете. SOPA позволяет американским властям в досудебном порядке изымать доменные имена, удалять сайты из поисковой выдачи и блокировать их финансовые счета, в том числе в партнёрских программах вроде Google AdSense, а также фильтровать контент на уровне ISP-провайдеров.
Сотрудник Google Пьер Фар (Pierre Far) опубликовал рекомендации, как лучше отключать сайт, чтобы это не повредило ресурсу в поисковой выдаче Google.
Читать дальше →
Тэги: 503, googlebot, robot, seo, service, sopa, unavailable, бойкот
Поисковые машины и технологии / Googlebot начал делать POST-запросы через Ajax 2011-10-12 17:44:46
... . В 2008 году Googlebot начал сабмиттить GET ...
+ развернуть текст сохранённая копия
Поисковый краулер Google постоянно улучшается, чтобы получить доступ к относительно закрытым частям сайтов. В 2008 году Googlebot начал сабмиттить GET-формы, а нынешним летом — исполнять JavaScript. Сейчас дошло дело и до передачи данных серверу методом POST.
Веб-мастер сайта thumbtack.com демонстрирует примеры таких запросов в логах Apache за сентябрь-октябрь 2011 года.
Читать дальше →
Тэги: googlebot, post, индексация
Как найти вредоносный код на сайте 2011-09-07 17:33:07
Что такое клоакинг, я знаю, но не думала, что мне придется с этим столкнуться. На днях обнаружилось ...
+ развернуть текст сохранённая копия
Что такое клоакинг, я знаю, но не думала, что мне придется с этим столкнуться. На днях обнаружилось на одном из моих сайтов огромное количество внешних ссылок (штук 100, а то и больше), причем, эти ссылки в исходном коде не просматривались. Проверила сайт на клоакинг web-sniffer.net и в исходном коде увидела всю картину наглядно. Еще можно [...]
Тэги: "base64_decode", "json_decode", ftp-клиент, googlebot, user-agent, вредоносный, клоакинг, код, скрипт, скрытый, ссылка, файл.php
Главная / Главные темы / Тэг «googlebot»
|
Взлеты Топ 5
Падения Топ 5
|
