Совсем скоро, 27 ноября, в Яндексе выступит с лекцией Гай Уилкинсон — руководитель LHCb, одного из экспериментов Европейского центра ядерных исследований (ЦЕРН). Он расскажет о том, как алгоритмы анализа больших объёмов данных используются в физике элементарных частиц. Записаться на лекцию или посмотреть её видеотрансляцию можно на странице мероприятия.

Яндекс давно сотрудничает с ЦЕРНом — с 2011 года. Мы предоставляем ЦЕРНу серверные мощности, поиск по событиям эксперимента LHCb, а также технологию машинного обучения Матрикснет. Кроме того, недавно мы писали о планах по проведению нового эксперимента SHIP, для нужд которого Яндекс предоставит ЦЕРНу свои технологии обработки данных. Сегодня мы хотим чуть больше рассказать о том, как IT-компании могут помочь и уже помогают большой науке.

Эксперимент — это один из основных способов познания окружающего мира. Человек ставит опыты и проверяет гипотезы на протяжении всей своей истории. Долгое время для этих опытов было достаточно простых инструментов — весов, линейки, секундомера, — а для того, чтобы записать результаты наблюдений, хватало листка бумаги.

Современные эксперименты требуют дорогостоящего оборудования. Для того чтобы построить Большой адронный коллайдер, одну из самых известных экспериментальных установок наших дней, потребовалось проложить под землей туннели, спроектировать средства разгона пучков протонов, собрать детекторы высокой точности. Учёные надеются, что опыты на коллайдере дадут ответы на вопросы о прошлом, настоящем и будущем Вселенной и помогут найти так называемую «новую физику» — физику за пределами Стандартной модели.

Туннель Большого адронного коллайдера. Фото CERN.

Опыты на БАК проходят так: пучки протонов в кольце коллайдера разгоняют до скоростей, близких к скорости света, и сталкивают друг с другом. В результате этих столкновений происходят рождения и распады новых частиц, которые и являются предметом интереса учёных.

Всё, что происходит внутри кольца БАК — рождение частиц или распад одних частиц на другие, — физики называют «событиями». События происходят в БАК очень часто — примерно 40 миллионов раз в секунду, — а информация о каждом событии весит сотни килобайт. С точки зрения исследователя все события эксперимента делятся на важные (сигнальные) и неважные (фоновые). Сигнальными называют события, которые относятся непосредственно к проверяемой в ходе эксперимента гипотезе.

Сигнальные события могут происходить очень редко — примерно одно на сотни миллионов или даже реже, — и важно ловить их в огромном потоке необработанных (сырых) данных. Другими словами — необходимо уметь правильно обрабатывать эти данные. Таким образом, для успеха современного эксперимента необходимо не только оборудование, но и алгоритмы обработки данных.

Совокупность всей информации в интернете — это тоже «сырые данные», которые нужно обработать, чтобы, к примеру, выдать релевантный ответ на поисковый запрос. Поэтому Яндекс как поисковая компания развивает алгоритмы анализа данных. Кроме того, у Яндекса достаточно вычислительных мощностей для того, чтобы обрабатывать данные быстро. Всё это можно использовать и в ЦЕРНе для обработки данных физических экспериментов.

Наши технологии используются в ЦЕРНе для настройки классификатора — программы, которая помогает отделить сигнальные события эксперимента от фоновых. (Подробнее о том, как создаются и работают классификаторы, вы можете узнать из статьи в нашем техноблоге на «Хабрахабре».) Кроме того, Яндекс разрабатывает для ЦЕРНа инфраструктуру автоматизации вычислительных экспериментов. Такая инфраструктура позволяет большой распределённой команде учёных совместно работать над анализом данных с использованием сложных методов и нетривиальных критериев оценки качества. Автоматизация совместной работы позволяет получать более достоверные и воспроизводимые результаты за меньшее время.

Технологии интернет-компаний, связанные с обработкой больших данных, могут использоваться не только в физике. В частности, Яндекс предоставляет свои технологии для обработки сейсмических и геофизических данных, а также для других областей, не связанных с поиском в интернете. Однако самые впечатляющие проекты, связанные с обработкой «больших данных», скорее всего, впереди. Речь идёт не только о науке, но и о повседневной жизни. «Большие данные» — это и информация о покупках в интернет-магазинах, и списки действий в социальных сетях, и сведения с датчиков пульса и шагомеров, которые носят на руке миллионы людей. Вопрос только в том, какие вопросы мы задаём себе, глядя на эти данные, и как правильно распорядиться полученными ответами.

Чуть больше года назад мы представили бета-версию новых Яндекс.Карт. Тогда нам казалось, что мы реализовали самые смелые наши идеи, и дело за малым. Пройдёт ещё несколько месяцев, мы добавим маршруты, панорамы — и запустим новые Карты. Но это только казалось.

Сегодня мы включаем новый интерфейс Яндекс.Карт в Турции, а для пользователей из России и Украины обновляем бета-версии. Мне хотелось бы рассказать о том, почему всё оказалось не так просто, как мы думали, и что нового мы сделали за прошедший год.

Когда мы только-только задумали редизайн сервиса, первые макеты выглядели примерно так:


Или так:


Потом была ещё серия различных концепций, и в какой-то момент мы осознали, что генерировать их можно бесконечно. Нужно было остановиться и как-то организовать работу с идеями. В первую очередь собрать все-все идеи про редизайн в одном месте. Большая стеклянная перегородка в одной из комнат офиса прекрасно для этого подошла.


Чтобы свободно проверять новые идеи и не нарушать привычки пользователей Яндекс.Карт, мы решили запустить отдельную бета-версию Карт с новым интерфейсом и в несколько этапов реализовать все записанные идеи.

Публичную бету запустили в октябре 2013 года, после того как был закончен первый этап — поиск по карте. После запуска мы получили много отзывов от активных пользователей и немного сдвинули сроки запуска следующего этапа, чтобы учесть замечания.

Второй этап мы завершили этим летом — в бета-версии Карт появились маршруты. Мы сделали линию маршрута нагляднее, добавили возможность строить маршруты через несколько точек, а водителям стали предлагать альтернативные варианты, чтобы можно было выбрать путь покороче. Немного изменился и интерфейс Карт: у шапки сервиса пропал фон, а поисковая стрелка, логотип и кнопки пробок и маршрутов стали «парить» над картой, которая заполнила всё окно браузера. Кроме этого мы решили проверить ещё одну смелую идею: перенести список поисковой выдачи слева направо — была гипотеза, что так будет удобнее работать с объектами на карте.

Отзывы не заставили себя ждать — активные пользователи написали нам несколько сотен пожеланий и предложений. В сообщениях люди просили добавить панорамы, писали о том, что потеряли контекстное меню по правой кнопке мыши и с трудом находят кнопки маршрутов и пробок в правом верхнем углу. Кроме того, статистика использования и тесты подсказывали, что пользователи немного путаются в логике панелей поиска.

Мы учли большую часть пожеланий, и сегодня готовы поделиться результатами очередного этапа работы.

Главной темой этого обновления стали панорамы — мы их переделали. Во-первых, мы решили отказаться от технологии Flash в пользу HTML5. Это позволяет смотреть панорамы в мобильных браузерах и даёт возможность комфортно работать с плеером панорам. Во-вторых, сделали новый интерфейс — панорама теперь занимает всё окно браузера, а интерфейс спроектирован так, чтобы ничего не мешало её рассматривать. Совсем недавно мы опубликовали панорамы заповедников России. Посмотрите, как здорово в новом плеере просматривать панорамы Байкала или Дивногорья. Возможность одновременно работать с картой и просматривать панорамы тоже сохранилась. Мини-карта в углу по наведению превращается в интерактивную, с возможностью перейти на панораму соседней улицы.


Мы немного упростили логику интерфейса поиска и детально проработали карточки объектов. Теперь на карточке можно увидеть фрагмент панорамы, а для некоторых типов объектов — список организаций, упорядоченный по категориям. Так можно в один клик поискать, что есть рядом. А на карточках городов, например, можно сразу узнать погоду. Построить маршрут теперь тоже можно в один клик — у всех карточек объектов есть удобная кнопка «Как добраться».


Мне всегда хотелось сделать карту по-настоящему интерактивной, и теперь по клику на карте мы сразу показываем, что находится в этом месте. При этом ни результаты поиска, ни уже построенный маршрут не теряются — панели сворачиваются до заголовка, и к ним можно вернуться в любой момент.

Кнопки основных функций стали ещё более заметными. Мы сделали их такими неслучайно. Всё больше и больше людей заходят в Карты с планшетов, и это значит, что новые Карты должны быть удобными на этих устройствах.

Кроме этого в бета-версии Карт немало других мелких улучшений. Мы постарались учесть предыдущий опыт и улучшить удобство всех функций. Сейчас мы тестируем эти решения и проверяем, всё ли мы сделали правильно.

Продолжаем экспериментировать и очень ждём ваших отзывов.

Андрей Кармацкий, от имени команды Яндекс.Карт

Весной этого года мы провели первую Конференцию школьников по программированию. В ней участвовали 32 команды, которые представили проекты в области лингвистики, облачных технологий и компьютерного моделирования. Авторы лучших работ получили дипломы и призы от Яндекса.


Первая конференция показала, что идея и формат оказались удачными, и теперь Яндекс открывает регистрацию на вторую Конференцию школьников по программированию. Она пройдёт 19 апреля 2015 года сразу в семи офисах Яндекса — в Новосибирске, Екатеринбурге, Нижнем Новгороде, Симферополе, Петербурге, Москве и Минске.

Конференция проводится для учеников 8-11 классов. Они могут участвовать индивидуально или командой до четырёх человек. На конференции будет несколько секций: «Движение», «Слова», «Облака» и «Интеллект». Первая — для проектов в области компьютерного моделирования, вторая — для работ на стыке лингвистики и программирования, третья — для кроссплатформенных приложений, четвёртая — для проектов, связанных с машинным обучением, параллельными вычислениями и Big Data.

Для участия в конференции нужно до конца года подать заявку, а к апрелю — подготовить презентацию проекта с техническим описанием и скриншотами. Школьники, чьи работы пройдут отбор, смогут представить их на конференции. Там и будут определены лучшие проекты.

Подробное описание и правила конференции можно найти на сайте мероприятия, а о лучших проектах предыдущей конференции читайте в нашей прошлой публикации.

У Яндекса несколько собственных дата-центров, в которых располагаются десятки тысяч серверов и сетевое оборудование. Дата-центры обеспечивают качественную работу всех наших сервисов в любое время суток. Однако они не застрахованы от аварий. Как показывает опыт, произойти может всё что угодно: от короткого замыкания и неожиданного обрыва кабеля до потопа. К любой из этих ситуаций нужно быть готовым.

Раз в неделю мы отключаем один дата-центр для моделирования аварийной ситуации, которая может повлиять на работоспособность наших сервисов. Мы называем это учениями. Учения помогают найти слабые места и избежать серьёзных последствий аварии, если она вдруг случится. Первое плановое отключение дата-центра в Яндексе произошло в октябре 2007 года, и с тех пор учения проводятся регулярно.


Отключение дата-центра — сложный и многоэтапный процесс, который должен быть правильно скоординирован. О том, как проходят учения и какие выводы мы делаем после их завершения, читайте в нашем техноблоге на Хабрахабре.

Представьте, что вы ждёте на остановке троллейбус. Раннее утро, холодно, идёт дождь. Троллейбус наконец приходит, но в нём уже столько народу, что вы думаете — а не подождать ли следующий? Правда, когда он приедет, наверняка знать нельзя. Пять минут постоять можно, а вот пятнадцать — уже не очень хочется.

Сегодня Яндекс обновил приложение Транспорт — мобильный справочник по городскому наземному транспорту. Теперь в 10 городах (Воронеже, Екатеринбурге, Казани, Калининграде, Красноярске, Нижнем Новгороде, Новосибирске, Омске, Перми и Санкт-Петербурге) и Московской области оно умеет прогнозировать время прибытия транспорта на остановку. Откройте приложение, нажмите на значок нужной вам остановки — и вы увидите, какой автобус или троллейбус в ближайшее время к ней подойдёт и сколько его ждать.

Прогноз позволит лучше спланировать поездку — например, понять, пора выходить из дома или ваш автобус ещё далеко и можно чуть-чуть посидеть в тепле. Или решить, что садиться в переполненный троллейбус не стоит — ведь через две минуты подойдёт следующий. А если вы уже сели и едете, то Яндекс.Транспорт подскажет, сколько минут осталось до нужной остановки.


Чтобы составлять прогноз прибытия и показывать текущее местоположение транспорта на карте, необходимо соблюсти множество условий. Во-первых, нужно, чтобы транспорт был оснащён необходимым оборудованием. Во-вторых, информация о перемещениях должна собираться регулярно и с определённой частотой. Наконец, нужно, чтобы организация, которая отвечает за сбор данных, согласилась предоставить их Яндексу.

Поэтому в разных городах Транспорт работает по-разному. В тех городах, где нам удалось заключить соглашения с местными компаниями, приложение показывает на карте перемещения разных видов транспорта и умеет строить прогноз. Объём данных в разных городах различается — например, в Перми Яндекс.Транспорт знает и об автобусах, и о троллейбусах, и о трамваях, и о маршрутках, а в Нижнем Новгороде — только о маршрутках. Ещё более чем в 30 городах это просто справочник — там можно посмотреть линии маршрутов, интервалы движения и список остановок местного транспорта.

Список городов, для которых у нас есть данные, постоянно растёт. Когда мы в пробном режиме запустили Яндекс.Транспорт в марте 2014 года, их было всего пять. Многие пользователи спрашивают нас, когда Яндекс.Транспорт заработает в Москве. Сейчас москвичи могут следить в приложении за перемещением пригородных автобусов «Мострансавто» и маршруток компании «Автолайн». Появление данных о движении остального общественного транспорта — это вопрос времени.

Скачать Яндекс.Транспорт можно в Яндекс.Store, Google Play и App Store.