Авторизация и последующий парсинг страниц после нее

При попытке авторизации на сайте, отправляю POST запрос и сохраняю полученный ответ в html странице:

session = requests.Session()

response = session.post(link, data=data, headers = HEADERS)
with open ("test.html", "w", encoding="utf-8") as f:
    f.write(response.text)

Открывая сохраненный файл через браузер, получаю главную страницу сайта с пройденной авторизацией

Но далее, отправляя GET запрос на другую страницу (по сути являясь уже авторизованным через сессию), и сохраняя таким же способом ответ, получаю результатом заново редирект на страницу авторизации

check_response = session.get(url, headers = HEADERS, params = None)
with open ("check.html", "w", encoding="utf-8") as c:
    c.write(check_response.text)

Соответственно, не могу спарсить ничего из нужных мне страниц после авторизации через BeautifulSoup

В чем может быть причина такого поведения?


Ответы (0 шт):