GreyCoder - шаги к профессионализму Голосов: 1 Адрес блога: http://greycoder.blogspot.com/ Добавлен: 2008-03-26 12:42:19

Как проверить на PR большое количество страниц

2011-07-07 01:25:00 (читать в оригинале)

PaRaMetr - прорамма для массовой проверки ПР страниц

Возникла необходимость проверить большое количество страниц на собственный ПР. Писал когда-то скрипт, но он однопоточный, да и бан схватить можно. Дописывать же и прикручивать прокси было лень.

Порылся на просторах рунета и нашел довольно неплохую программку под названием PaRaMeter. Несмотря на то что последняя версия вышла в 2009 с задачей прочекать около 20000 страниц она справилась часа за полтора (может и меньше или больше - особо не запоминал, так как пошел пить чай и смотреть футбол).


Программа до ужаса проста - загружаешь список адресов, прописываешь если нужно прокси, ставишь количество потоков для проверки и по окончании можно экспортироватьв cvs результат.

Правда есть и небольшая ложка дегтя - на большом количестве урлов идет долгий импорт в программу, да так что кажется что она зависла...