Введение

Долгое время считалось, что динамический анализ программ является слишком тяжеловесным подходом к обнаружению программных дефектов, и полученные результаты не оправдывают затраченных усилий и ресурсов. Однако, две важные тенденции развития современной индустрии производства программного обеспечения позволяют по-новому взглянуть на эту проблему. С одной стороны, при постоянном увеличении объема и сложности ПО любые автоматические средства обнаружения ошибок и контроля качества могут оказаться полезными и востребованными. С другой – непрерывный рост производительности современных вычислительных систем позволяет эффективно решать все более сложные вычислительные задачи. Последние исследовательские работы в области динамического анализа такие, как SAGE, KLEE и Avalanche, демонстрируют, что несмотря на присущую этому подходу сложность, его использование оправдано, по крайней мере, для некоторого класса программ.

Мы живём в разных онлайн сообществах. Как выглядят эти сообщества? Каково наше место в каждом из них и какую роль мы в них играем?

Диаграмма внизу изображает реальное онлайн сообщество (on-line community, OLC). Каждый узел на диаграмме обозначает человека. А линия между двумя узлами означает, что между двумя людьми в сообществе существует определенная связь. Такая структура в социологии называется социальной сетью.

Большинство онлайн сообществ представляет из себя три социальных кольца: плотно связанное ядро в центре, слабо связанные фрагменты второго кольца, и несвязанные узлы внешнего кольца, называемые также луркерами. В сообществах можно присутствовать на разных уровнях: каждый такой уровень представлен одним из колец. Вы можете входить в ядро одного сообщества и в то же самое время быть луркером в другом.

Понадобилась мне для благого дела таблица частот пар букв (так называемых биграмм или диграмм) для украинского языка. Причем не просто украинского языка, а современного живого интернет-языка, именного того, на котором происходит современное общение в украиноязычной среде. Единственные известные мне результаты были построены на довольно малой выборке, отличной от того, что мне нужно было, да и серьезная преобработка текста в них могла повлиять на результат (и наверное таки повлияла, но об этом далее).

Задача в общем не сложная, единственной серьезной проблемой является источник материала для обработки — того самого большого куска текста, который можно перелопатить.

Первая идея была сдампить кусок какого-то IRC канала. К сожалению ни одного активного живого флейма с отсечкой по языку я не нашел.

Следующая идея: форум.

В качестве жертвы был выбрано несколько больших украиноязычных форумов. Все админы на просьбу о дампе текстовой части из базы отреагировали негативно, а некоторые даже довольно резко…

… Сами виноваты, сказал я и запустил wget.