Спарсить карточки товаров на озоне на Python
Получается взять первые 4 товара, остальные подгружаются с помощью скрипта как я понимаю, но вот как их достать не понимаю
from bs4 import BeautifulSoup
import requests
URL = "https://www.ozon.ru/category/podguzniki-i-trusiki-30749/?type=37543"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:101.0) Gecko/20100101 Firefox/101.0"
}
response = requests.get(URL, headers=headers)
soup = BeautifulSoup(response.text, "lxml")
items = soup.find_all("div", class_="rj2")
for item in items:
title = item.find("span", class_="p6j").next
print(title.text)