как получить данные с сайта из network которые подгружаются после выполнения js?

Question

https://imgur.com/a/GCgo0Ed - видео, что надо получить.

https://csgo.steamanalyst.com/profit-generator - на данном сайте есть таблица, которую нужно спарсить. Нашел в Network xhr-файл, который загружается после выполнения JS. Пытался использовать такой код, где-то увидел.

import requests
headers = {
    "referer": "https://csgo.steamanalyst.com/profit-generator",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 OPR/105.0.0.0 (Edition Yx GX)",
}
response = requests.get("https://csgo.steamanalyst.com/list-profit?show_no_stock=false&show_sp=false&site_a=buff&site_b=csmoney&_=1703587915043", headers=headers)
print(response)

Но присылает 403 ошибку. Есть ли способы достать данные из этого файла, не используя selenium и ему подобных? Саму ссылку refer и т.д. брал с данных файла

Answer 1

import requests

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'x-requested-with': 'XMLHttpRequest',
}

params = {
    'show_no_stock': 'false',
    'show_sp': 'false',
    'site_a': 'buff',
    'site_b': 'csmoney',
    '_': '1703587915043',
}

response = requests.get('https://csgo.steamanalyst.com/list-profit', params=params, headers=headers)
print(response)

# <Response[200]>

curl запрос в пайтон код инструкция внизу страницы

БЛОГ НА HUSL

как получить данные с сайта из network которые подгружаются после выполнения js?

Ответы (1 шт):