Ошибка 403 при парсинге c использованием заголовков и куки на python?

При попытке парсинга получаю ошибку 403

import requests
url = "https://cdek.shopping/c/95/krossovki?min_price=7187&max_price=15000&sort-by=sale_desc&brands[]=24&is_sale=1&variations[]=41&variations[]=41.5&variations[]=42"

s = requests.Session()
response = requests.get('https://cdek.shopping/', cookies=cookies, headers=headers)
print(response.status_code)
with open('sdek_index.html', 'w', encoding='utf-8') as file:
    file.write(response.text)
for key, value in response.request.headers.items():
    print(key+": "+value)

В ответ от сервера получаю:

Перед тем, как продолжить, cdek.shopping требует проверить безопасность вашего соединения.

Отправлен полноценный заголовок и куки скопированные при входе на страницу через браузер

Неужели без Selenium не обойтись?


Ответы (1 шт):

Автор решения: Максим

Для обхода cloudflare сработало использование параметра impersonate в реализации requests из curl_cffi:

from curl_cffi import requests
response = s.get(url, impersonate="safari_ios")
→ Ссылка