Прошлой весной мы запустили Яндекс.DNS — бесплатный сервис, который умеет защищать пользователя от опасных сайтов и скрывать от детей материалы, предназначенные для взрослых. Теперь Яндекс.DNS научился ещё и бороться с вредоносными ботами. В этой публикации мы расскажем, чем могут быть опасны такие боты и как мы с ними боремся.

Кто такие боты
Ботами называют программы, которые берут на себя роли людей. Например, боты могут быть автоматическими собеседниками в чатах или в нужный момент размещать от вашего имени ставки на интернет-аукционах. Но наряду с такими полезными ботами существуют и те, которые могут причинять вред.

Вредоносные боты делают то, о чём вы их не просили — кликают по рекламе, крадут данные, рассылают спам или заходят на сайты, которые вы не собирались посещать. Такого бота на ваш компьютер могут умышленно подселить злоумышленники. Боты попадают на компьютер так же, как и другие вредоносные программы: например, в результате посещения заражённого сайта или после открытия почтового вложения с опасным файлом.

У вредоносных ботов есть две особенности. Первая — они никак не выдают своего присутствия и совершают все действия незаметно. А вторая — за любую работу они берутся только после получения команды.

Что такое ботнет
Все компьютеры, заражённые вредоносным ботом, объединяются в сеть — ботнет. В ботнет могут входить тысячи и даже миллионы машин из разных городов и стран. Это серьёзное оружие, которое используется, например, для DoS-атак: если приказать всем заражённым машинам одновременно обратиться к тому или иному сайту, то сайт может «упасть», не выдержав нагрузки.

Поскольку боты совершают действия только по команде, им необходимо постоянно поддерживать связь с хозяевами. Обычно они соединяются с ними через специальный сервер — центр управления. Чтобы «дозвониться» до центра, бот должен знать его уникальный числовой адрес (IP-адрес). Обычно ботам известно только доменное имя сервера, а IP-адрес они узнают через посредника — систему DNS. Так происходит в том числе потому, что у многих центров управления ботами IP-адрес динамический, то есть меняется при каждом подключении к сети.

Как Яндекс.DNS борется с вредоносными ботами
В распоряжении Яндекс.DNS есть список доменных имён серверов, которые управляют ботами. Его составляет компания Virus Tracker Ltd., и он постоянно пополняется. Каждый раз, когда у Яндекс.DNS запрашивают IP-адрес того или иного доменного имени, сервис сверяется с этим списком. Если имя есть в списке, значит, запрос поступил от бота и останется без ответа.

Каждый день Яндекс.DNS обрабатывает около семи миллиардов запросов, из них примерно 1,9 миллиона отправляют боты. Благодаря тому, что все запросы ботов к «центру» блокируются, боты не получают никаких инструкций, и заражённый компьютер перестаёт участвовать во вредоносной деятельности.

Впрочем, устранить причину всегда лучше, чем бороться с последствиями, поэтому лучше всего вообще не допускать попадания ботов на компьютер. Для этого мы рекомендуем вам использовать антивирус и своевременно его обновлять. Ссылки на бесплатные антивирусы собраны, например, вот здесь.

Сервис Яндекс.DNS работает в трёх режимах: базовом, безопасном и семейном. В базовом режиме вы получаете быстрый и надёжный DNS-сервер, который ускоряет загрузку веб-страниц. В безопасном режиме Яндекс.DNS предупреждает о вредоносных сайтах, а в семейном — ещё и ограждает детей от сайтов для взрослых. Защита от ботов действует во всех режимах, кроме базового.

Настроить Яндекс.DNS можно на компьютере, мобильном устройстве или роутере Wi-Fi. Как это сделать, читайте здесь.

Сегодня мы запустили бета-версию новой Яндекс.Метрики. У сервиса полностью обновился интерфейс, появилось больше возможностей для аналитики, а сами аналитические инструменты стали более гибкими.

Метрика — это универсальный инструмент для веб-аналитики. Она умеет отвечать на все вопросы об аудитории сайта, собирает данные о его посетителях и позволяет посмотреть на любой срез. Анализ этих данных помогает владельцам сайтов развивать и улучшать их, а также адаптироваться под ожидания аудитории. Например, они могут понять, пользователи с каким браузером хуже всего взаимодействуют с сайтом, и оптимизировать сайт под этот браузер. Или задуматься о создании мобильных приложений, если значительная доля посетителей сайта заходит на него с планшетов и смартфонов.

Артур Суилин, руководитель Яндекс.Метрики:

Метрика всегда позволяла, во-первых, смотреть отчёты по сайту в целом, а во-вторых, — анализировать поведение аудитории на уровне отдельных посещений. Однако у нас не было удобных инструментов для работы с промежуточным уровенем — сегментами аудитории сайта. Это самый важный и интересный уровень, так как позволяет, с одной стороны, сфокуcироваться только на требуемых для анализа посещениях, с друой стороны делать обобщения, не вдаваясь в излишние подробности. Именно этот уровень детализации более всего востребован маркетологами и аналитиками. Чтобы он органично вписался в Метрику, мы пересмотрели весь продукт, его функциональность и интерфейс. Фактически мы запускаем новую Метрику, которая включит в себя все лучшее из того, что есть сейчас, и добавит новые возможности.

Новая Метрика позволяет быстро сравнить разные сегменты аудитории. Чтобы точно очертить сегмент, можно использовать различные условия и атрибуты: пол, возраст, глубина просмотра, операционная система и многие другие. Всего их более 50. Сравнение сегментов поможет узнать, как ведут себя на сайте пользователи, пришедшие из разных источников — например, из поисковых систем и с рекламных источников.

Если предыдущая версия Метрики предлагает фиксированный набор стандартных отчётов, то новая способна строить отчёты с любым набором параметров. Например, владелец интернет-магазина одежды может узнать, сколько молодых женщин из Москвы заходят на его сайт из «ВКонтакте» и решить, стоит ли целенаправленно работать над продвижением сайта в социальных сетях. Кроме того, все отчёты можно фильтровать по первому и последнему визиту. Скажем, если первый визит обеспечила реклама, а затем пользователь возвращается на сайт, добавив его в закладки, — это не только приятно, но и позволяет понять, что рекламная кампания была эффективной.

Все возможности Метрики по-прежнему бесплатны и доступны для всех сайтов — независимо от их размера. Свежие данные поступают на сервис с задержкой не более пяти минут. Чтобы быстро обрабатывать огромные массивы информации, Яндекс использует систему ClickHouse. Это собственная технология Метрики, способная работать с петабайтами данных.

Через некоторое время в новой Метрике появятся Вебвизор, мониторинг сайтов и другие возможности, которые есть в прежней версии сервиса. А пока можно пользоваться и старой, и новой версией. Чтобы начать работать с любой из них, нужно установить на свой сайт счетчик Метрики, если он уже не установлен.

Когда вы начинаете вводить запрос в поисковой строке, Яндекс показывает варианты наиболее популярных запросов, начинающихся на те же самые буквы. Это поисковые подсказки — они помогают вам сэкономить время и не печатать запрос целиком. Яндекс понимает, какие подсказки показать, даже если вы забыли сменить раскладку клавиатуры или опечатались.

Подсказки появились в поиске Яндекса относительно недавно — в 2008 году. Сначала идея была в том, чтобы просто ускорить ввод поискового запроса. Чтобы вам не приходилось писать, скажем [метилпропенилендигидроксициннаменилакрилическая кислота что это] целиком. Со временем, однако, подсказки стали уметь гораздо больше. За этими возможностями стоит не одна сложная технология и постоянная работа. О них мы и хотим рассказать в этой записи.

Подготовка подсказок
Список поисковых подсказок формируется после фильтрации всего потока запросов к Яндексу. Также туда добавляются названия энциклопедических статей, музыкальных произведений и другого подходящего контента. Список проходит несколько фильтров, каждый из которых отсеивает некоторые типы запросов. Например, совсем редкие запросы или содержащие ненормативную лексику. Вместе с фильтрацией запросов в них исправляются опечатки. В итоге остаётся более сотни миллионов запросов — которые и становятся подсказками.

Как и ответы поиска на yandex.ru, поисковые подсказки зависят от того, где находится пользователь. Например, начиная запрос со слов [кинотеатр] или [ресторан], петербуржец и москвич наверняка имеют в виду заведения в своём городе. И подсказки им нужны для Санкт-Петербурга и Москвы соответственно. Поэтому для каждого региона составляется свой список поисковых подсказок, основанный на местных запросах.

Чтобы не тратить место на почти одинаковые запросы, мы их объединяем. Например, некоторые ищут [подарки на 8 марта], а некоторые — [подарки к 8 марта]. Такие запросы объединяют в одну подсказку, и, когда вы набираете «подарки», Яндекс показывает только один вариант — наиболее популярный. Конечно, если человек продолжит писать «подарки к», то набор подсказок изменится. К группировке запросов подходят очень аккуратно. Запросы, которые кажутся похожими машине, не всегда похожи для человека. Чтобы два запроса объединились в одну подсказку, они должны не только мало различаться по написанию, но и вести на одинаковые результаты поиска.

Актуальность и персонализация подсказок
Поскольку новые популярные запросы появляются постоянно, список поисковых подсказок регулярно обновляется — не реже, чем раз в день. А запросы, потерявшие актуальность, удаляются. Кроме того, у Яндекса есть специальный «быстрый» список подсказок — для запросов о событиях, которые произошли только что. Запросы для него отбираются по сложной формуле, которая учитывает, в том числе, насколько резко вырос поисковый интерес к теме, как много появилось новостных сообщений и постов в блогах. Быстрый список обновляется каждые полчаса.

Кроме того, Яндекс умеет определять, что будет больше интересовать людей в ближайшем будущем. Например, когда люди начинают писать в поиске «по», в обычной жизни им чаще всего нужна [погода], а перед 8 марта — [подарки] и [поздравления]. Поэтому Яндекс ежедневно обрабатывает все подсказки и для каждой строит прогноз — насколько она будет востребована на следующий день. Прогнозируемая востребованность учитывается при ранжировании списка подсказок.

В какой-то момент наши подсказки стали персональными. То есть научились учитывать не только ваш регион, но и историю запросов и меняться в соответствии с ней. Например, так выглядят подсказки и страница поисковой выдачи для двух людей с разной историей:

Эволюция подсказок
Если подсказки могут сократить ваш путь от ввода запроса до перехода к странице результатов поиска, то почему бы не пойти дальше? В некоторых случаях уже на этапе набора запроса можно с большой вероятностью сказать, что хорошим ответом будет определённый сайт. Тогда среди поисковых подсказок появится ещё и навигационная — адрес такого сайта. Например, уже по первым буквам запроса [википедия] первой подсказкой будет ru.wikipedia.org. При выборе навигационной подсказки пользователь сразу попадает на соответствующий сайт.

Этот пример показывает, что подсказки могут не только упрощать ввод запроса и адаптироваться под вас, но и решать ваши задачи. В том числе и без помощи поиска. Например, ответы на некоторые запросы можно получить прямо в подсказках. В основном это однозначные запросы, предполагающие один верный ответ — например, [столица Австралии] или [длина Дуная]. Наши подсказки знают десятки тысяч подобных фактов, и этот список регулярно пополняется. Помимо фактов, прямо в подсказках можно узнать текущий балл пробок на основных дорогах крупных городов, погоду в разных частях света и даже на других планетах, результаты недавних футбольных матчей или извлечь кубический корень из 1331.

 

 

Каждый день всем своим пользователям Яндекс показывает поисковые подсказки в сумме более миллиарда раз. А за время ввода одного запроса вы можете увидеть в среднем десять наборов подсказок.

Шведская студия дизайна Love Hultén недавно анонсировала приставку R-Kaid-R, сочетающую в себе ретро-стилистику и классические видеоигры. Этот портативный аркадный автомат, поддерживающий эмулятор MAME, позволяет запускать игры для Neo Geo, Atari Подробнее

Основная функция любого браузера — это просмотр веб-страниц. Но во всех популярных браузерах много дополнительных возможностей. Есть они и в Яндекс.Браузере, однако знают о них не все. Одна из важных задач для нас — сообщить людям об этих полезных возможностях.

Это не самая простая задача. Сложность заключается в том, чтобы донести информацию вовремя и в подходящем виде. Да, кое-что о возможностях браузера можно найти на обучающей стартовой странице, а подробное описание всех функций есть в «Справке». Но на стартовой странице всего не расскажешь, а в «Справку» люди заглядывают редко.

Решить задачу помогают всплывающие подсказки. Конечно, это никакое не ноу-хау: они уже давно используются в разных программах — вспомнить хотя бы знаменитую скрепку из офисного пакета Microsoft. Но всплывающие подсказки могут быть разными. Мы постарались сделать наши подсказки умными: контекстными и ненавязчивыми.

Например, в адресную строку браузера можно вводить не только адреса сайтов, но и поисковые запросы — она и оформлена в виде поисковой строки Яндекса. Но далеко не все про это знают. Нужна подсказка. Появляется она только тогда, когда соотношение запросов, введённых из адресной строки и с главной страницы Яндекса, падает до 1 к 4.

Там же, в адресной строке, прячется ещё одна подсказка — что страницу на иностранном языке можно целиком перевести на русский. Раньше вместо подсказки мы использовали большую плашку с кнопкой перевода. Она была достаточно эффективной, но сдвигала содержимое страницы, а это выглядело не слишком элегантно. Поэтому кнопку мы упрятали в адресную строку, а подсказку стали показывать только тем, кто ни разу этой кнопкой не воспользовался.

Чуть сложнее обстояло дело с подсказкой о переводе отдельных слов и фраз. Тут простой контекстный подход уже не работал — на многих страницах в интернете есть иностранные слова, но это не значит, что нужно тотчас же предлагать их перевести.

Мы предположили, что, когда вы выделяете и копируете какое-то иностранное слово на странице, вполне вероятно, что вы собираетесь вставить его в онлайн-переводчик и перевести. Поэтому при выделении иностранного слова мы стали показывать подсказку, сообщающую, что никуда идти не нужно — браузер сделает всё сам. Гипотеза подтвердилась — после изменений доля тех, кто хотя бы раз воспользовался переводом слова или фразы, увеличилась почти в три раза.

Примерно так же вышло и с подсказкой о быстром переходе к началу страницы — по клику на вкладку браузера. Самым простым решением казалось давать её тем людям, кто прокрутил страницу до самого низа. Но в большинстве случаев, прочитав страницу, вы не собираетесь возвращаться к её началу. Тут нужно было точно уловить желание вернуться. Поэтому браузер предлагает кликнуть по вкладке только тем, кто пролистал страницу на несколько экранов вниз и начал прокручивать её обратно.

Своевременные подсказки — это только полдела, нам было нужно сделать их ещё и ненавязчивыми. Даже самая чуткая подсказка может всё испортить, если будет появляться по несколько раз за день, блокировать работу и требовать обязательного закрытия. Мы долго экспериментировали на коллегах и выработали простые правила:
- одна и та же подсказка не должна появляться чаще одного раза в сутки;
- за сутки нельзя показывать больше двух разных подсказок;
- подсказка пропадает из ротации на пару месяцев, если человек видел её больше трёх раз и никак не отреагировал.

А ещё наши подсказки можно выключить. В настройках браузера можно отключить их совсем или просто закрыть по клику на крестик самой подсказки. Если вы закрыли подсказку таким образом, вы гарантированно не увидите её в ближайшие три месяца.

Наши эксперименты с подсказками в итоге дали очень приятные результаты. Люди узнали о полезных возможностях браузера, и при этом подсказки не вызвали у них раздражения — обращений с жалобами на них практически не было. Цель была достигнута: люди стали видеть подсказки реже и пользоваться ими чаще. Больше подробностей и цифр ищите в техноблоге Яндекса на Хабрахабре.

Команда Яндекс.Браузера