Главное: на данный момент проблема исправлена и все письма будут доставляться в хронологическом порядке в течение ближайших часов, дублироваться письма более не будут. Объяснения такие:



Как многим известно, сервис LiveJournal.com имеет сейчас проблемы в работе и целыми днями иногда не функционирует. Мы делаем кросспостинг в блоги на этом сайте, через 5 минут после публикации у нас, как и рассылку на почту. Это делается путем создания очереди отправки, из которой каждую минуту достаются очередные задания и выполняются.



Для нас явилось неожиданностью, что кросспостинг может зависать в процессе работы и задерживать всю очередь. Десятки тысяч зависших добавлений в ЖЖ затормозили собой очередь и в течение целого дня сообщения не отправлялись (вернее отправлялись очень медленно).



Проблема повторялась два раза. В первый раз мы открыли для себя возможность такой проблемы и выделили ЖЖ в отдельную очередь. Но оставили процесс доставания заданий из очереди общим (очередь с приоритетами). Это стало проблемой при втором сбое. Теперь и очереди и их их разгребания стали независимы.



Кроме того, неожиданная во время разработки этой функциональности возможность очень медленного выполнения заданий привела к тому, что несколько процессов разгребания стали выполняться одновременно и некоторые письма были отправлены несколько раз. Мы это быстро заметили и остановили, но некоторое количество повторных отправок было совершено. Сейчас мы предусмотрели возможность, что кросспост будет зависать, и это не будет более дублировать отправку писем.



Традиционно искренне извиняемся. Доверяй, но проверяй, теперь к падению LJ мы будем готовы.