Не достаются элементы со страницы bs4

Question

from bs4 import BeautifulSoup
import requests
url = "https://onlinepatent.ru/trademarks/?q=123"

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url=url, headers=headers)

soup = BeautifulSoup(response.content, 'lxml', )

print(soup.find_all("div", class_="uni-block__data-title"))

Код должен выводить все элементы с классом "uni-block__data-title", но выдаёт пустоту. Если вывести контент ответа в консоль, то таких элементов просто не будет, хотя, если перейти по ссылке в браузере, то они есть.

Answer 1

как пример

import requests


cookies = {'f_session_key': 'WX2AQGOD4mg2ciRi0x06g5eFdwdPpKGx',}
params = {
    'ajax': 'tmsearch',
    'act': 'trademarkSearch',
    'session_key': 'WX2AQGOD4mg2ciRi0x06g5eFdwdPpKGx',
    'name': '123',
    'rnum': '',
    'anum': '',
    'appl': '',
    'extended': '0',
    'getstr': '',
}

response = requests.get('https://onlinepatent.ru/', params=params,  cookies=cookies).json()

for rr in response['data']:
    print(rr['name'])
    print(rr['img'])

123
https://tmsearch.onlinepatent.ru/images/41c/41ce5659-c5ba-4817-9300-fb239a1c2bc3.jpg
123
https://tmsearch.onlinepatent.ru/images/266/2661b05b-9fb6-43c1-aa7e-e7fc145679b5.jpg
123 1.2.3. ВОЯЖ БЕЗГРАНИЧНАЯ СВОБОДА
https://tmsearch.onlinepatent.ru/images/33f/33facd23-bc05-49a7-951e-7c3e5b68739e.jpg
....
БУЛОЧНАЯ № 1234567890 Ф.ВОЛЬЧЕКА ВОЛЬЧЕКА ВОЛЬЧЕК ВОЛЬЧЕК
https://tmsearch.onlinepatent.ru/images/86b/86b114e9-7e74-4f3f-bf22-d650594cbb5b.jpg
РЕГИОН 93 ВСЕ ДЛЯ КВАДРОЦИКЛОВ 8-989-1212323 WWW.REGION93ATV.RU.
https://tmsearch.onlinepatent.ru/images/4c4/4c45f67b-d058-47e4-9d9a-e4d7e3db6841.jpg
АЙ-ПЕТРИ КРЫМ ВЫСОТА 1234 М РЕСПУБЛИКА СИМФЕРОПОЛЬСКИЙ ВИНОДЕЛЬЧЕСКИЙ ЗАВОД 1959 Г СИМФЕРОПОЛЬ
https://tmsearch.onlinepatent.ru/images/e0c/e0c83804-e5d3-4514-924a-f588321da45d.jpg

Динамический сайт BeautifulSoup здесь не поможет. На это сайте нужно отслеживать трафик, а если не знаете как используйте Selenium.

БЛОГ НА HUSL

Не достаются элементы со страницы bs4

Ответы (1 шт):