Сегодня 1 декабря, воскресенье

Какой рейтинг вас больше интересует?

получить код

Главная / Каталог блогов / Cтраница блогера ReanGD / Запись в блоге

	ReanGD Голосов: 1 Адрес блога: http://reangdblog.blogspot.com/ Добавлен: 2016-06-21 21:56:21

Веб поиск на Go. Краулер. Как не скачать лишнего

2016-03-28 12:21:00 (читать в оригинале)

Я думал, что написать программу скачивающую сайт - на пару часов делов то. Всё ведь просто - скачиваем первую страницу и рекурсивно проходимся по всем найденным внутри ссылкам. Однако с таким подходом примерно 20% страниц оказались мусором, который мне не пригодился. Ниже я объясню, как я с таким мусором боролся.

Дальше »

Блограйдеров
14500

Блогов
219926
(+0 сегодня)

Сообществ
1311
(+0 сегодня)

Рыбалка
по среднему баллу (5.00) в категории «Спорт»

Категория «Журналисты»

Взлеты Топ 5


+406	407	DDB's LiveJournal
+350	441	Жизнь в сети
+345	429	Сергей Новиков
+310	443	Рояль в кустах
+54	409	Сибдепо / Блоги

Загрузка...

BlogRider.ru не имеет отношения к публикуемым в записях блогов материалам. Все записи
взяты из открытых общедоступных источников и являются собственностью их авторов.