Блог ульяновского чувака Голосов: 1 Адрес блога: http://kyoks.ru Добавлен: 2009-10-14 19:21:00 блограйдером kyoks

Скрипт проверки уникальности текста по методу шинглов

2012-07-16 21:05:38 (читать в оригинале)

Возникла задача проверить большой массив статей на уникальность между собой. Не долго думая решил написать скрипт для анализа текстов на уникальность по методу шинглов (shingles). Подобные алгоритмы используются поисковыми системами для выявления дублей. Входные данные запрашиваются у пользователя или берутся из MySQL базы данных. На выходе получается отчёт с процентов [...]