Имитация пользователя при парсинге
Использую puppeteer для парсинга сайтов, поисковиков. Возник вопрос, какие критерии нужно использовать, чтобы капча возникала как можно реже. У меня не идут запросы один за другим на одну страницу, могу правда открывать несколько страниц одного сайта в разных браузерах puppeteer в режиме headless.
Устанавливал user-agent, пока ещё не совсем разобрался с прокси. Вроде как ещё нужно устанавливать заголовки, хотелось бы узнать больше информации.