Авторизация и последующий парсинг страниц после нее
При попытке авторизации на сайте, отправляю POST запрос и сохраняю полученный ответ в html странице:
session = requests.Session()
response = session.post(link, data=data, headers = HEADERS)
with open ("test.html", "w", encoding="utf-8") as f:
f.write(response.text)
Открывая сохраненный файл через браузер, получаю главную страницу сайта с пройденной авторизацией
Но далее, отправляя GET запрос на другую страницу (по сути являясь уже авторизованным через сессию), и сохраняя таким же способом ответ, получаю результатом заново редирект на страницу авторизации
check_response = session.get(url, headers = HEADERS, params = None)
with open ("check.html", "w", encoding="utf-8") as c:
c.write(check_response.text)
Соответственно, не могу спарсить ничего из нужных мне страниц после авторизации через BeautifulSoup
В чем может быть причина такого поведения?