Не работает парсер, когда посылаю гет запрос
Решил сделать парсер, вот код парсера. Проблема в том что когда отправляю get запрос, то приходит странный html код, хотя статус код 200. Ещё и ни один тег не ищется почему то.
from requests import Session
from bs4 import BeautifulSoup
headers = {
"accept": "*/*",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}
def sign_in():
work = Session()
work.get("https://www.kijiji.ca", headers=headers)
log = work.get("https://www.kijiji.ca/t-login.html", headers=headers)
soup = BeautifulSoup(log.text, "html.parser")
print(soup)
sign_in()
Вот пример html кода который приходит
Ответы (1 шт):
Автор решения: Fox
→ Ссылка
Парсер у вас РАБОТАЕТ и делает то, что должен. У html-страницы, которую вы пытаетесь спарсить именно такая структура, это JS код, а не HTML, вероятно сайт использует какой либо фреймворк на подобии Vue или React.