Ошибка 403 при парсинге c использованием заголовков и куки на python?
При попытке парсинга получаю ошибку 403
import requests
url = "https://cdek.shopping/c/95/krossovki?min_price=7187&max_price=15000&sort-by=sale_desc&brands[]=24&is_sale=1&variations[]=41&variations[]=41.5&variations[]=42"
s = requests.Session()
response = requests.get('https://cdek.shopping/', cookies=cookies, headers=headers)
print(response.status_code)
with open('sdek_index.html', 'w', encoding='utf-8') as file:
file.write(response.text)
for key, value in response.request.headers.items():
print(key+": "+value)
В ответ от сервера получаю:
Перед тем, как продолжить, cdek.shopping требует проверить безопасность вашего соединения.
Отправлен полноценный заголовок и куки скопированные при входе на страницу через браузер
Неужели без Selenium не обойтись?
Ответы (1 шт):
Автор решения: Максим
→ Ссылка
Для обхода cloudflare сработало использование параметра impersonate
в реализации requests
из curl_cffi:
from curl_cffi import requests
response = s.get(url, impersonate="safari_ios")