Заинтересовал меня вопрос о том, ходит ли кто-нибудь в wiki по XXIII веку, или только мы с irene_dragon туда пишем. А то что-то никто тамошними возможностями дискуссий пользоваться не пытается.

Полез в логи апача.

Выяснил, что гугльбот оттуда читает чаще, чем я туда пишу - запросов с моего IP меньше, чем с IP гугльбота, которй с трех или четырех адресов аж 2000 запросов сделал. Яндекс-бот значительно скромнее, он всего 95 запросов сделал, что даже меньше числа существующих содержательных страниц. Возникает странное подозрение, что яндекс пришел туда не по ссылке из DW, а по ссылке с http://www.wagner.pp.ru/~vitus/fiction.

Вообще написать им что-ли robots.txt...

Озадачивает посетитель с IP-адреса 107.20.125.25 который резолвится куда-то в амазоновский клауд. Оно, похоже читало через страницу RecentChanges и не признается ни в том, какой у него referer, ни в том, какой user-agent.
По поведению более похоже на чьего-то частного поискового робота.

А так кроме этого более двухсот IP-адресов с которых кто-то что-то читал. Причем примерно с половины - не ограничились первой страницей.

This entry was originally posted at http://vitus-wagner.dreamwidth.org/715757.html. Please comment there using OpenID. Now there are comments