Как обойти защиту авито для парсера

Question

Необходима помощь в парсинге сайта авито. При получении кода страницы через requests и bs4 в переменной soup лежит не та страница, что в url. В заголовке полученного файла лежит следующее: Доступ ограничен: проблема с IP. По гайдам из ютуба получил следующую часть кода:

headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 
     Gecko) Chrome/101.0.4951.64 Safari/537.36 OPR/87.0.4390.25 (Edition Yx 05)',
    'Accept-Language':'ru',
    'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="101", "Opera";v="87"',
    'Referer':'https://www.avito.ru/',
    'sec-ch-ua-mobile':'?0',
    'sec-ch-ua-platform':'"Windows"',
    'Upgrade-Insecure-Requests':'1',
    'cookie':'Много текста...'
}
req = requests.get(url=url, headers=headers)
src = req.text
soup = BS(src, 'lxml')
print(soup)

БЛОГ НА HUSL

Как обойти защиту авито для парсера

Ответы (0 шт):