Please enable JavaScript.
Coggle requires JavaScript to display documents.
BOT (интерфейс (добавить сайт, добавить поле для сайта (англ. название…
BOT
интерфейс
-
добавить поле для сайта (англ. название поля, селектор (xpath or css), тип поля, мульти, lowercase
-
-
-
-
-
-
-
-
-
-
каждый процесс использует свой список прокси и список юзер агент, которые циркулируются, один сайт - несколько процессов с разными диапазонами прокси, юзер агент
статистика по блокированию прокси для сайта, юзер агентов для сайта
каждый сайт имеет свой черный список прокси, черный список юзер-агентов
настраивать время старта сканирования, время задержки, частоту сканирования для каждого сайта
в идеале - "умный" агент имитирующий пользователя, нажимает кнопки/ссылки вместо прямого перехода по ссылке
сохраняем title, meta description,
meta og:title, meta og:description, ...
natural language processing
пулл свободных, чистых прокси, из которого могут себе брать прокси все боты по мере бана прокси из своего диапазона
webdriver firefox, chrome