Чебоксары Голосов: 1 Адрес блога: http://randoom.livejournal.com/ Добавлен: 2011-02-16 18:07:14 блограйдером randoom

Боты на форумах и других сайтах

2015-04-09 11:39:43 (читать в оригинале)

На сайтах огромное количество ботов. Конечно, львиную долю запросов составляют боты Google и Yandex, которые полезные. Но очень много и всего бесполезного и откровенно вредного.

Например, распространенным типом ботом является сборщиками e-mail'ов и другой информации, которую выкладывают в интернет. Есть также боты, которые публикуют спам. Через наши фильтры они не проходят, но это не мешает отправить на форумы 7000 запросов в сутки (а каждый запрос лишняя нагрузка на систему).

Сейчас мы запустили анализатор логов сервера, который очень хорошо показывает действия ботов. Боты обнаруживаются, их адреса банятся. К сожалению, это происходит не в режиме реального времени, а с некоторым лагом.

Ну и сами сервера с ботами периодически меняют айпишники.

П.С. Вчерашние технические работы, судя по утренней производительности, прошли успешно. Но ради этого мне пришлось не спать до 03:30.