GreyCoder - шаги к профессионализму Голосов: 1 Адрес блога: http://greycoder.blogspot.com/ Добавлен: 2008-03-26 12:42:19

Как проверить на PR большое количество страниц

2011-07-07 01:25:00 (читать в оригинале)

PaRaMetr - прорамма для массовой проверки ПР страниц

Возникла необходимость проверить большое количество страниц на собственный ПР. Писал когда-то скрипт, но он однопоточный, да и бан схватить можно. Дописывать же и прикручивать прокси было лень.

Порылся на просторах рунета и нашел довольно неплохую программку под названием PaRaMeter. Несмотря на то что последняя версия вышла в 2009 с задачей прочекать около 20000 страниц она справилась часа за полтора (может и меньше или больше - особо не запоминал, так как пошел пить чай и смотреть футбол).
Программа до ужаса проста - загружаешь список адресов, прописываешь если нужно прокси, ставишь количество потоков для проверки и по окончании можно экспортировать в cvs результат.

А если нужно собрать урлы с конкретного сайта, то есть возможность задать глубину парсинга и фильтр на адреса которые следует игнорировать.

PaRaMetr - настройки извлечения url с сайта

Правда есть и небольшая ложка дегтя - на большом количестве урлов идет долгий импорт в программу, да так что кажется что она зависла...