Сегодня, 6 августа, состоялся финал Яндекс.Алгоритма — ежегодного чемпионата по спортивному программированию, который организует Яндекс. В 2015 году состязание проходило полностью в онлайне — на платформе Яндекс.Контест. Заявки на участие в чемпионате подали 3722 человека; из них до финала дошли 28.

Победителем Яндекс.Алгоритма-2015 стал Геннадий Короткевич. Он показал лучший результат, решив в финальном раунде пять из шести задач и получив при этом 80 минут штрафного времени. Геннадий — бессменный чемпион Яндекс.Алгоритма: он занимал первое место и в 2013, и в 2014 годах, а также выиграл множество других состязаний. Только в 2015 году он получил золото на чемпионате мира по программированию ACM ICPC 2015 в составе команды Университета ИТМО, занял первое место на VK Cup 2015 в паре с Ниязом Нигматуллиным, выиграл конкурс Facebook Hacker Cup и одержал ещё несколько крупных побед.

Геннадий Короткевич во время чемпионата Яндекс.Алгоритм-2013
Второе место занял Пётр Митричев, а третье — Евгений Капун. Они решили по четыре задачи, при этом Пётр набрал 31 штрафную минуту, а Евгений — 79 минут. Победители получат денежные награды: 300, 150 и 90 тысяч рублей за первое, второе и третье места соответственно. Результаты всех финалистов можно посмотреть на сайте Яндекс.Алгоритма, а разбор задач финального раунда опубликован в блоге Яндекса на «Хабрахабре».

В 2015 году заявки на участие в Яндекс.Алгоритме подали программисты из 73 стран. Больше всего участников — из России, Украины, Беларуси, Казахстана, Индии, США, Японии и Китая, но вообще география чемпионата крайне обширна — Бразилия, Индонезия, Перу, Доминиканская Республика, Мозамбик, Сенегал, Каймановы острова. 8,9% зарегистрировавшихся — девушки. Примерно половина всех участников — студенты.

По правилам Яндекс.Алгоритма, участвовать в финале могут только те, кому уже исполнилось 18 лет. Однако попробовать свои силы в отборочных раундах разрешается и программистам более младшего возраста. Часто такие ребята показывают отличные результаты. Например, в топ-512 лучших участников Яндекс.Алгоритма-2015 вошли примерно 50 человек, которым пока нет 18 лет. Мы надеемся увидеть их в числе победителей будущих чемпионатов.

Первый Яндекс.Алгоритм прошёл в 2011 году. На международный уровень чемпионат вышел два года спустя, в 2013 году. Задачи для Яндекс.Алгоритма составляет международная команда, в которую входят как сотрудники Яндекса, так и приглашённые эксперты — в том числе победители и финалисты состязаний ACM ICPC и Topcoder Open.

В самом Яндексе опыт участия в соревнования по спортивному программированию имеют около 400 человек. Помимо Алгоритма, Яндекс поддерживает и другие состязания. Каждую неделю в нашем московском офисе проходят тренировки для студентов из разных вузов, а на базе факультета компьютерных наук ВШЭ, созданного при участии Яндекса, работает Центр студенческих олимпиад.

Если вы когда-нибудь пользовались формой обратной связи на сервисах Яндекса или оставляли комментарии в наших блогах, вы наверняка общались с сотрудниками службы поддержки. Работа этих людей, может, и не связана напрямую с разработкой сервисов, но их вклад в улучшение этих сервисов и в создание образа Яндекса сложно переоценить. Именно они представляют Яндекс перед пользователями, именно их голосами Яндекс чаще всего общается с людьми.

Служба поддержки отвечает на любые вопросы о сервисах Яндекса. А иногда и вообще на любые вопросы. Сейчас в поддержке около 200 сотрудников, которые примерно поровну разделены по двум независимым отделам: поддержки пользователей и поддержки коммерческих сервисов. Они работают в специальной системе, разработанной в Яндексе на основе OTRS и автоматически сортирующей все входящие сообщения. Это позволяет отвечать быстро. Очень быстро. В обычный день сотрудник поддержки, например, Яндекс.Почты отвечает примерно на 100 писем, а в нештатных ситуациях, когда что-то ломается или запускается, на 300 и больше. Но это сейчас. А начиналось всё с нескольких человек, у которых не было никакой суперсистемы, а был лишь один ящик электронной почты.

Первым сотрудником поддержки (когда никакой службы поддержки ещё не существовало) была сооснователь и бывший главный редактор Яндекса Елена Колмановская.
 

«Когда в 1997 году запустился сайт yandex.ru, мы разместили на нём адрес электронной почты, по которому с нами можно было связаться. В то время интернет был маленький, и, если ты делал сайт, нужно было дать людям возможность поговорить с тобой — это считалось базовой нормой вежливости. Мы стали получать письма, в которых нам задавали всевозможные вопросы. В 97 году люди не различали

доступ в интернет, контент в интернете и интернет-сервисы. Они знали, что есть интернет, и есть Яндекс, и Яндекс — это про интернет. Поэтому спрашивали нас обо всём.

Конечно, сначала писем было мало, потому что и пользователей было не очень много. Спрашивали о разном: как подключиться к интернету из дома, если он есть на работе, как отправить почту, почему что-то не получается найти или почему на компьютере что-то работает не так. Мы подумали: пока интернет такой, какой есть, мы будем отвечать за всё и на всё. Сначала этим занималась я, потому что писем приходило не так много. Но потом, когда поток писем стал увеличиваться и появились первые вопросы про то, почему сайты индексируются так, а не иначе — примерно тогда стала зарождаться индустрия SEO, — одного человека, то есть меня, уже не хватало. И мы взяли первого сотрудника службы поддержки, который специализировался на SEO.

В поиске тогда было два направления поддержки: поисковая оптимизация и собственно использование поиска. Люди не очень понимали, как искать в интернете, и часто писали, что не могут чего-то найти. Случалось так, что я сама искала то, что им не удавалось, и в ответном письме присылала результаты. Довольно скоро мы поняли, что искать в интернете — это некоторое умение, и завели специальный форум, чтобы научить людей правильно пользоваться поиском. Со временем там появились активные участники, которые давали советы другим людям.

В 2000 году мы устроили «неделю Яндекса» и запустили семь сервисов подряд, в том числе Почту, Фотки и Новости. Так Яндекс стал порталом. Тогда у людей уже начал массово появляться доступ в интернет, и компания стала бурно расти. Возникла необходимость помогать людям работать со всеми новыми сервисами, а не только с поиском. Например, в почту приходил спам, и люди не понимали, что это за письма и что с ними делать. Сама возможность переписки по электронной почте была новой концепцией, и к ней, как и ко многому другому, нужно было привыкнуть. Конечно, у людей возникало множество вопросов — не только о Почте, но и о других новых сервисах. Значит, службу поддержки нужно было расширять.

Очень удачно нашёлся первый сотрудник поддержки общего профиля (со временем он вырос в руководителя отдела поддержки пользователей), по специальности, вообще-то, океанолог. Встал вопрос: каких людей набирать. Естественно, мы понимали основные требования: кандидат должен быть адекватным, проявлять участие, уметь грамотно писать по-русски, хорошо относиться к людям и… соответствовать стилю Яндекса. Как проверить профессиональные качества — было понятно, а для того, чтобы узнать, наш человек или нет, я придумала простой тест: мы показывали кандидатам изображение слона в удаве из «Маленького принца». Если человек не знал, что это, значит, проще было его не взять, чем научить. Так мы набрали первых сотрудников.

Конечно, в то время вопросы были штучные, и отвечали мы в основном индивидуально. Но, когда случался какой-то сбой, мы готовили шаблоны ответов, потому что одинаковых вопросов приходило много, и отвечать нужно было тоже одинаково. Мы учились мобилизации в чрезвычайных ситуациях, когда что-то ломается, а также регулярно проводили встречи, на которых разбирали примеры удачных и неудачных ответов. Так начали складываться основы нашей сегодняшней службы поддержки. Тогда же мы сформулировали важный принцип работы, верный и сейчас: чем более нагло и агрессивно к тебе обращаются, тем более рафинированно и вежливо нужно отвечать. Это отлично работало и работает до сих пор.

Сначала все сотрудники службы поддержки подписывались своими именами, но со временем интернет стал более коммерческим, и от позиции сайтов в поисковой выдаче стали зависеть доходы многих людей. Были случаи, когда сотрудникам поддержки угрожали или писали личные письма с необоснованными претензиями и даже обвинениями. Тогда мы решили, что подписываться настоящими именами не стоит, чтобы не ставить людей под удар. Вообще не подписываться — тоже плохо. И ребята придумали для себя ролевые имена, самым известным из которых, наверное, было имя Платона Щукина — он отвечал за поиск. Довольно быстро он стал легендой. Раскрыть его личность пытались очень многие. Однажды нам даже позвонили «из военкомата» и заявили, что им срочно нужен Платон Щукин. На все вопросы о нём мы отвечали просто и честно: «Платон Щукин, конечно, человек. Причём не один».

Интернет быстро рос и очень скоро перестал быть «междусобойчиком» учёных и IT-шников. Чем больше и шире становилась аудитория пользователей интернета, тем более абстрактным для них был Яндекс — уже не конкретные люди, а большая машина. Если раньше мы могли позволить себе где-то пошутить и пообщаться с человеком не слишком формально, то в какой-то момент стало ясно, что шутить больше нельзя — слишком велик шанс промахнуться или создать впечатление, что ты шутишь не для человека, а над человеком. А этого, конечно, мы никогда себе не позволяли. Кроме того, поток писем очень сильно вырос, их стало проще типизировать, и на многие вопросы мы заготовили шаблонные ответы. Конечно, всё это привело к усыханию стиля, и нам от этого было немного обидно. Но в такой ситуации большая нейтральность и формальность, увы, были необходимы».

Постепенно интернет становился всё больше и разнообразнее, а с ним росло и количество сервисов Яндекса. Когда сервисов стало много, мы разделили их по направлениям, и в отделе поддержки пользователей сформировались разные группы, отвечающие за каждое из них. С развитием Яндекс.Директа и Рекламной сети Яндекса в компании вырос новый самостоятельный отдел поддержки коммерческих сервисов, со своей спецификой работы. В общем виде эта структура службы поддержки сохранилась до сегодняшнего дня. Как поддержка Яндекса работает сейчас — читайте во второй части рассказа, которую мы опубликуем на следующей неделе.

Довольно часто люди приходят в интернет за быстрой справкой. Что такое [палимпсест]? [когда жил иван грозный]? [что снял вернер херцог], про которого я только что соврал, что, конечно же, смотрел его фильмы? В таких случаях Яндекс старается сократить путь пользователя до нужной информации — прямо на странице результатов поиска, справа от основной выдачи, появляется карточка с общей информацией о предмете запроса. Она называется «объектный ответ».


Показывать карточки с основными фактами об объектах на странице выдачи Яндекс начал в апреле 2015 года. На тот момент в базе объектных ответов были описания 92 миллионов известных личностей, фильмов, музыкальных альбомов, городов, лекарств, автомобилей и других сущностей. Сейчас их уже 110 млн — и это число стабильно растёт.

Помимо основных фактов, карточка объектного ответа содержит дополнительную информацию. Какую именно — зависит от типа этого предмета. Скажем, на карточке фильма довольно много фактов — по запросу [терминатор] Яндекс сообщит пользователю год выхода, жанр, режиссёра, продюсера, автора музыки и длительность первого «Терминатора», вкратце опишет сюжет, покажет рейтинг на КиноПоиске и предложит посмотреть трейлер. Объектный ответ по запросу [рига] будет состоять из общего описания города и информации о площади, населении и дате возникновения, а по запросу [снусмумрик] — из портрета персонажа и информации о том, из какого он произведения.

Кроме общей информации объектный ответ содержит дополнительные блоки. Один из них непосредственно относится к объекту запроса. Для запросов о кино Яндекс покажет блок «Актёры», о писателях — «Книги», о городах — «Достопримечательности» и так далее. Во второй блок попадают другие популярные объекты из той же категории — скажем, для Риги это прибалтийские города, а для Снусмумрика — персонажи детских книг.

В дальнейшем объектный ответ станет полнее. Например, туда может переехать часть колдунщиков, которые сейчас появляются среди результатов поиска по интернету. В первую очередь — плееры Музыки и Видео, чтобы в ответ на запрос [нирвана] пользователь получал карточку, содержащую — в дополнение к общей информации о группе — несколько популярных песен и клипов.

Карточки объектов формируются автоматически, с помощью семантического графа — модели, описывающей совокупность объектов, их свойств и связей между ними. Информация об объектах приходит из десятков источников. Например, факты о музыкантах берутся из Википедии, находятся на порталах discogs.com, musicbrainz.com и других специализированных сайтах с большими базами структурированных данных. Система оценивает степень совпадения информации, отсеивает дубли и противоречащие факты (например, разнящиеся годы жизни одного человека), а те, что дополняют друг друга, добавляет в карточку.

Список объектов в дополнительных блоках строится по похожей схеме. Только если в первом случае собираются и сопоставляются найденные в разных источниках факты об объектах, то для создания списка ассоциаций сопоставляются связи между этими объектами. Например, если в нескольких базах данных «Завтрак на траве» и «Олимпия» описаны как картины Эдуарда Мане, то, скорее всего, так оно и есть. А вот если в одной из них среди произведений Мане значатся «Кувшинки», но ни в одном другом источнике такая связь не встречается, то она может быть отсеяна как ошибочная. Это, впрочем, не значит, что редко встречающаяся связь автоматически отбраковывается. Среди прочих факторов система учитывает и авторитетность источника, поэтому в некоторых случаях в карточку попадают факты или связи, которые нашлись только на одном, но очень надёжном ресурсе.

Всего в базе объектных ответов несколько сотен миллионов связей. Поэтому просто составить список ассоциаций недостаточно. Нужно автоматически решить, какие из них показывать в карточке. Среди прочего, для этого используется метод машинного обучения Матрикснет, позволяющий учитывать множество факторов при анализе поведения пользователей. Например, Матрикснет может обратить внимание на то, что задав запрос [подсолнухи], люди часто не удовлетворяются результатами поиска и уточняют: [подсолнухи ван гог]. К тому же эти слова часто встречаются вместе в текстах — причём там же, как правило, упоминаются «Поль Гоген» и «Поль Сезанн». Учитывая эти и другие данные, система может сделать вывод, что связи между этими объектами представляют наибольший интерес для пользователей. Поэтому в блоках «Произведения» и «Смотрите также», сопровождающих карточку к запросу [ван гог], обязательно окажутся «Подсолнухи» и Гоген с Сезанном.

Наконец, на самом последнем этапе, когда карточка полностью готова, основанный на Матрикснете механизм решает, нужно ли её показывать, — может быть, пользователю совсем не интересна эта информация? Чтобы выяснить, соответствует ли карточка запросу, он сравнивает её с описаниями страниц в результатах поиска. Например, в ответ на запрос [getz] можно было бы показать информацию о саксофонисте Стене Гетце. Но, проанализировав результаты поиска, большинство из которых оказываются связаны с автомобилями, механизм ранжирования решит показать карточку машины.

О том, как устроены другие поисковые технологии Яндекса, вы можете прочитать в соответствующем разделе на сайте компании.

Сегодня, 31 июля, в России начинаются продажи умных часов Apple Watch. Сразу после выхода на рынок в апреле 2015 года эти часы заняли сильную позицию в своём сегменте. По данным Strategy Analytics, во втором квартале 2015 года доля поставок Apple Watch на мировом рынке умных часов составила более 75%. Мы проанализировали данные Яндекс.Маркета, чтобы узнать, как обстоят дела в сегменте умных часов и браслетов в России накануне выхода Apple Watch и как ситуация изменилась за последний год.

Категория «Умные часы и браслеты» появилась на Яндекс.Маркете в июне 2014 года. Тогда в ней было всего 24 модели, а сейчас их уже почти 150. Эта динамика довольно ярко иллюстрирует быстрый рост всего сегмента. Увеличился и ассортимент, и количество продавцов: по сравнению с июнем 2014 года число магазинов, предлагающих умные часы и браслеты, выросло в 1,7 раза до 2000 с лишним.

Вместе с предложением вырос и спрос: количество переходов пользователей Яндекс.Маркета на сайты магазинов с умными часами и браслетами с июня 2014 года увеличилось в 2,7 раза. По данным на июнь 2015 года, интерес пользователей к умным часам и браслетам уже сопоставим с интересом, например, к электронным книгам.

Рынок умных часов быстро растёт и быстро меняется: некоторые модели устаревают, и им на смену приходят новые. Мы сравнили 10 самых популярных у пользователей Маркета моделей в июне 2014 и в июле 2015 года, и оказалось, что эти списки практически не совпадают.


Как видно из топа 2015 года, в преддверии выхода Apple Watch в России некоторые магазины на Яндекс.Маркете уже начали предлагать эти часы. Их высокая стоимость заметно повлияла на среднюю цену товара в категории: она выросла с 8 тысяч рублей в апреле до 11,3 тысячи в июле (учитывались товары, на которые пользователи переходили с Яндекс.Маркета в магазины).

Среди 150 моделей умных часов и браслетов на Яндекс.Маркете можно найти предложения на любой вкус: от простых фитнес-браслетов до часов-смартфонов с камерой и выходом в интернет. Если вы предпочитаете продукцию Apple и уже настроились на покупку Apple Watch — в App Store можно скачать приложения Яндекса для этих часов: Переводчик и Такси. В ближайшее время к ним добавится приложение Яндекс.Карты.

Мы уже рассказывали о сотрудничестве Яндекса с Европейским центром ядерных исследований (ЦЕРН) и о том, как технологии обработки больших объёмов информации используются в науке. Сегодня Яндекс и ЦЕРН приглашают специалистов по анализу данных поучаствовать в конкурсе Flavour of Physics. Участникам конкурса предлагается написать алгоритм, способный обработать огромный массив данных — информацию о событиях эксперимента LHCb, который проводится на Большом адронном коллайдере (БАК). Это может помочь сделать новые открытия.

Одной из задач эксперимента LHCb является поиск явлений, которые не вписываются в Стандартную модель — современный свод представлений об элементарных частицах и их взаимодействиях. Пример такого явления — распад частицы под названием тау-лептон на три другие частицы: два мюона и один антимюон.

По Стандартной модели вероятность такого распада (его ещё называют распадом с нарушением лептонного аромата) ничтожно мала и составляет менее 10^-40. Однако другие теоретические модели допускают, что распад всё-таки происходит чаще — возможно, настолько чаще, что его можно заметить среди других событий, регистрируемых на БАК. Задача учёных — попробовать поймать распад среди миллиардов других распадов, которые каждую секунду происходят в кольце коллайдера.

Визуализация данных события, зарегистрированного детектором эксперимента LHCb. Изображение LHCb/CERN.

Здесь физикам могут помочь специалисты по обработке данных. Участникам конкурса Flavour of Physics предлагается написать алгоритм, который мог бы разделить все события эксперимента LHCb на «сигнал» (распад тау-лептона на три мюона) и «фон» (всё остальное). Для создания классификатора — программы, которая разделяет события — ЦЕРН предоставит участникам конкурса реальные данные, собранные в ходе эксперимента LHCb, и результаты моделирования распада (они позволят выявить закономерности в признаках события).

Конкурс алгоритмов будет проходить на ресурсе Kaggle.com. Это интернет-платформа для проведения состязаний по машинному обучению и анализу данных. Победители будут выбраны автоматически — с помощью метрики сравнения алгоритмов, которую совместно разработали ЦЕРН (LHCb), Школа анализа данных Яндекса и Yandex Data Factory — подразделение Яндекса по работе с большими данными. Конкурс Flavour of Physics стартовал 20 июля, а заявки на участие в нём можно подавать до 12 октября 2015 года.

Победитель, предложивший лучший алгоритм, получит приз в 7000 долларов. Призы за второе и третье место составят 5000 долларов и 3000 долларов соответственно. Другие участники, показавшие самые полезные с точки зрения физиков результаты,  смогут претендовать на специальную премию в размере 2000 долларов от компании Intel, а кроме того, получат приглашение на семинар в Цюрихе. Там они вместе с учёными, работающими на Большом адронном коллайдере, обсудят итоги конкурса и то, как их можно использовать для обнаружения редких распадов.