Чебоксары Голосов: 1 Адрес блога: http://randoom.livejournal.com/ Добавлен: 2011-02-16 18:07:14 блограйдером randoom

Тяжёлый переезд на единую систему авторизации

2013-02-12 22:31:33 (читать в оригинале)

Сегодня утром мы начали переходить на единую систему авторизации. Это нужно для того, чтобы можно было залогинится на одном сайте и стать после этого залогиненым на всех. Не надо заходить отдельно на http://www.cheb.ru, http://www.na-svyazi.ru, http://foto.cheb.ru и так далее и там вводить свой логин и пароль.

Переезд прошёл довольно гладко, и уже где-то к 15:00 мы наслаждались единым логином. Конечно, были небольшие накладки, требовалась некоторая настройка. Этим и занимались. Пока от этой деятельности нас не отвлекли сначала небольшие, потом сильные, потом дичайшие тормоза на сервере. Откуда взялись тормоза? Не понятно.

Как на зло на 17:00 мы проводили семинар для риэлторов. Риэлторы приехали посмотреть на то, как работает наш сайт, а он находится в подвешенном состоянии. Проводить мероприятие или отменять его? Решили проводить несмотря на тормоза, максимально сократить нагрузку на другие сайты, и пустить все мощности на http://cheb.ws

Но мощностей становилось всё меньше и меньше. Уже прошла и пиковая нагрузка (после 17:00), но тормоза никуда не делись и даже усиливались. Начали отключать систему авторизации, так как скорее всего дело было в ней. Отключение не помогло.

Три человека задержались на работе на 3-4 часа, чтобы решить этот непростой пазл. Он всё не решался. Мы и логи все пересмотрели, и код назад вернули, и много ошибок исправили, и базы оптимизировали, и сервер перезагрузили, и настройки у него поменяли. Тормоза в это время были жуткие, сайты открывались очень и очень медленно.

Решение нашлось довольно поздно. Вспомнили, что программа, работающая с сессиями, записывает файлы. Точнее, система записывает эти файлы куда-то к себе. Конечно, врядли должно быть много файлов, но... мало ли. Хорошо, что администратор зашёл и посмотрел.

И офигел. Сначала он сообщил, что файлов просто немеряно, потом сосчитал, что их 134 тысячи! Даже удалить 134 тысячи файлов было очень сложно. После удаления всё заработало с прежней нормальной скоростью. Сейчас уже прошло некоторое время - пока сбоев нет. Завтра будем разбираться - откуда появилось столько файлов. Такого числа уникальных посетителей за несколько часов у нас точно нет.

П.С. Приношу извинения у посетителей за доставленные неудобства. Спасибо всем, кто потратил время на восстановление системы! Надеюсь, что мы получили в результате исправления аварии некоторый опыт, который пойдёт на пользу. Ну и ошибок в работе исправили точно много. Единый логин будем вводить позже.

П.С.2. Администраторы - не держите десятки тысяч файлов в одном каталоге. При таком размещении оно сильно тормозит.