Как обойти ошибку 403 через Scrapy?
Решил попробовать со скрапить карточки циан, но при запуске scrapy shell и потом fetch('https://kazan.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat&p=1®ion=4777&room1=1') , то вылетает ошибка 403, что делать?
Ответы (1 шт):
Автор решения: Deniska SosiSka
→ Ссылка
Ошибка 403 (Forbidden) — это стандартный код ответа HTTP, означающий, что доступ к запрошенному ресурсу запрещён. Сервер блокирует Ваш запрос, в 99% случаев это связанно с отсутствием заголовков в запросе. Попробуйте добавить заголовок User-Agent - чтобы Ваш запрос был похож на запрос от браузера.
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
fetch('https://kazan.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat&p=1®ion=4777&room1=1', headers=headers)