Параметры метода find() модуля BS4 в Python

Question

Не могу понять, почему результатом программы является None. В данном примере беру информацию с сайта - https://book24.ru/product/tsaritsa-khatasu-6611090/

В коде страницы ищу такой блок - <div itemscope="itemscope" itemtype="https://schema.org/Book" class="product-detail-page__body">

У меня есть ф-ия, что отвечает за поиск, в нее передаю имя тега и словарь с атрибутами этого же тега. Но возвращается ответ None. В чем причина такого результата понять не могу. Подскажите, пожалуйста, где моя промашка?

Вот сам код:

import requests
import fake_useragent
from bs4 import BeautifulSoup

user = fake_useragent.UserAgent().random
header = {'user-agent': user}
link = 'https://book24.ru/product/tsaritsa-khatasu-6611090/'


def aaa(where, teg, **kwargs):
    where = where.find(name=teg, attrs=kwargs)
    print(where)


response = requests.get(link, headers=header).text
soup = BeautifulSoup(response, 'lxml')
aaa(where=soup, teg='div', itemscope='itemscope', itemtype='https://schema.org/Book', class_='product-detail-page__body')

Answer 1

Основная трудность установить все библиотеки: selenium, beautifulsoup4, webdriver-manager, lxml. Остальное подгружается с ними.

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

url = "https://book24.ru/product/tsaritsa-khatasu-6611090/"

# запускаем браузер
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get(url)
driver.maximize_window()
time.sleep(3) # даем странице подгрузиться
page = driver.page_source #  получаем исходный код текущей страницы.
# Вытаскиваем все, что нам нужно
soup = BeautifulSoup(page, 'lxml')
product = soup.find('div', class_='product-detail-page__body')
print(product)

<div class="product-detail-page__body" itemscope="itemscope" itemtype="https://schema.org/Book"><link href...
Нежная любовь прекрасной египтянки, тайное покровительство ей царицы, интриги завистников и колдовское влияние...

БЛОГ НА HUSL

Параметры метода find() модуля BS4 в Python

Ответы (1 шт):