Недавно мы писали о том, как перед нами впервые встала задача крупномасштабной миграции данных пользователей между дата-центрами и о том как мы ее решили.
В этот раз мы подробнее остановимся на том, каким образом осуществлялась миграция фотографий пользователей и какие структуры данных использовались для ограничения создаваемой нагрузки на сервера с фотографиями.
Ежедневно пользователи Badoo загружают примерно 3 миллиона фотографий. Для их хранения мы выделили специальный кластер серверов, занимающихся также изменением размеров, наложением «водяных знаков», импортом фотографий из других социальных сетей и прочими манипуляциями с файлами.
Все машины этого кластера можно условно разделить на три группы. Первая ― это серверы, отвечающие за быструю отдачу фотографий пользователям (можно сказать, собственная реализация CDN). В контексте миграции эти серверы нам не будут интересны. Вторая группа ― это хранилища с дисками, на которых, собственно, и находятся все фотографии. И третья группа ― это серверы, предоставляющие интерфейс ко второй группе, условно назовём их фотосерверами. На них по оптоволокну смонтированы дисковые массивы хранилищ, на эти же машины происходит загрузка фотографий и здесь же работают все скрипты, выполняющие какие-либо операции с файлами.
Таким образом, для PHP-кода совершенно неважно, на каком именно диске какого хранилища находится фотография. Все, что нужно сделать, это перенести фотографии пользователя с одного фотосервера на другой и обновить эту информацию в базе данных и некоторых демонах. Здесь важно отметить, что все фотографии пользователя всегда находятся на одном фотосервере.
Читать дальше →

В этом году мы решили не ездить далеко, а посвятить свой отдых исключительно походам. После знакомства в Китае с веселыми словаками Яном и Эмилем, мы решили поехать в Словакию, а там путешествовать по Высоким Татрам. Но потом на форуме Винского наткнулась на рассказ о Словацком Рае - так в программу путешествия добавился ещё и этот природный заповедник, в потом именно Словацкий Рай занял основное место в нашем путешествии.

Дальше

---

EBU - European Broadcasting Union (Европейский радиовещательный союз) - объединение европейских и мировых служб вещания со штаб-квартирой в Женеве и техническим центром в Брюсселе.

В этой статье я собираюсь описать Graceful Restart на Go. Graceful Restart важен для Go вебприложения. Go обладает одним недостатком. В Go нет возможности перезагружать код вовремя исполнения. Поэтому разработчики на Go встречаются с проблемой, которой нет в серверах написанных на Java, .NET или PHP. Если нужно обновить код сервера написанного на Go, то процесс сервера надо остановить и запустить новый процесс. Это понижает доступность сервера в момент обновления кода.

В предыдущей статье я описал Балансировщик на Go в 200 строк. На базе балансировщика можно обеспечить высокую доступность вовремя обновления приложения, но как тогда обновить сам балансировщик. Использование балансировщика часто может быть просто лишним. Если ваш сервер запущен на Mac OS X или Linux, то есть другой способ обновить код сервера и обработать все запросы поступившие в момент перезапуска сервера. Этим способ является Graceful Restart.
Читать дальше →

---

Интересное совпадение: не успел "анонимный источник" сообщить вчера утром, что капитуляция откладывается, как сразу же пошли заказики из Российской Федерации, которых последний месяц не было вообще.

Если между этими событиями действительно есть связь, то Российская Федерация, - которая может вот так - негласно и быстро - свернуть сотрудничество с Антироссией даже на таком микроскопическом уровне, как мой, - вовсе не безнадёжна.