|
PaRaMetr - прорамма для массовой проверки ПР страниц |
Возникла необходимость проверить большое количество страниц на собственный ПР. Писал когда-то скрипт, но он однопоточный, да и бан схватить можно. Дописывать же и прикручивать прокси было лень.
Порылся на просторах рунета и нашел довольно неплохую программку под названием
PaRaMeter. Несмотря на то что последняя версия вышла в 2009 с задачей прочекать около 20000 страниц она справилась часа за полтора (может и меньше или больше - особо не запоминал, так как пошел пить чай и смотреть футбол).
Программа до ужаса проста - загружаешь список адресов, прописываешь если нужно прокси, ставишь количество потоков для проверки и по окончании можно экспортироватьв cvs результат.
Правда есть и небольшая ложка дегтя - на большом количестве урлов идет долгий импорт в программу, да так что кажется что она зависла...
|
PaRaMetr - прорамма для массовой проверки ПР страниц |
Возникла необходимость проверить большое количество страниц на собственный ПР. Писал когда-то скрипт, но он однопоточный, да и бан схватить можно. Дописывать же и прикручивать прокси было лень.
Порылся на просторах рунета и нашел довольно неплохую программку под названием
PaRaMeter. Несмотря на то что последняя версия вышла в 2009 с задачей прочекать около 20000 страниц она справилась часа за полтора (может и меньше или больше - особо не запоминал, так как пошел пить чай и смотреть футбол).
Программа до ужаса проста - загружаешь список адресов, прописываешь если нужно прокси, ставишь количество потоков для проверки и по окончании можно экспортировать в cvs результат.
А если нужно собрать урлы с конкретного сайта, то есть возможность задать глубину парсинга и фильтр на адреса которые следует игнорировать.
|
PaRaMetr - настройки извлечения url с сайта |
Правда есть и небольшая ложка дегтя - на большом количестве урлов идет долгий импорт в программу, да так что кажется что она зависла...
Главная / Главные темы / Тэг «parameter»