Парсинг с proxy python
Хочу парсить сайт, причем кидать очень много запросов, для этого использую 200+ прокси. Как лучше всего парсить, чтобы получать максимальную производительность, и чем больше прокси, тем быстрее парсился. Через Асинхронность? В своём случаи использую такой подход:
tasks = [
# process_group(guns_more_90_without_st, 100, 'guns_more_90_without_st', config.proxies_more),
# process_group(guns_less_90_without_st, 100, 'guns_less_90_without_st', config.proxies_less),
# process_group(guns_more_90_st, 100, 'guns_more_90_st', config.proxies_more_st),
# process_group(guns_less_90_st, 100, 'guns_less_90_st', config.proxies_less_st),
process_group(guns_parsing, 270, 'guns_parsing', config.proxies),
# process_group(knifes, 50, 'knifes', config.proxies_other),
process_group(hands, 20, 'hands', config.proxies_other),
process_group(stickers, 25, 'stickers', config.proxies_other),
process_group(unseparated_items, 40, 'unseparated_items', config.proxies_other),
]
await asyncio.gather(*tasks)
Где второй параметр - это значение для Симофора, чтобы в секунду было столько запросов, а последний просто список proxy. В среднем, где-то на 1 прокси - 3 запроса в секунду. Так вот, можно ли как-то ускорить данный подход, сделать более производительным и выгодным?:D