Почему парсер начинает скроллить страницу, но останавливается?
Вот сайт https://www.lamoda.ru/c/5972/shoes-muzhkedy/?sitelink=topmenuM&l=4&brands=1061,1163,4035,2047,1107&is_sale=1&sort=discount&page=1 я пытаюсь сделать через selenium. Нужно чтобы парсер просматривал первую страницу, далее находил ссылки на кроссовки потом находил ссылку на вторую страницу и там тоже просматривал страницу, а потом все сохранял в json файл. Сохранял именно ссылки на кроссовки. Но парсер просто открывает страницу, немного пролистывает и останавливается, как исправить?
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time
import requests
headers ={
"Accept": "Accept: image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
"Connection": "keep-alive",
"Accept-Encoding": "gzip, deflate, br"
}
def get_driver(url):
chrome_options = Options() # новое обновление selenium
driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe") # новое обновление selenium
driver = webdriver.Chrome(options=chrome_options) # новое обновление selenium
driver.maximize_window() # открывает на полный экран окно браузера
try:
driver.get(url=url)
time.sleep(3)
while True:
find_link = driver.find_element(By.CLASS_NAME,"router-link-active").click()
if driver.find_elements(By.CLASS_NAME,"x-product-card__pic x-product-card__pic-catalog"):
with open ("ok.json", "w") as file:
file.write(driver.page_source)
break
except Exception as ex:
print(ex)
finally:
driver.close()
driver.quit()
def main():
get_driver(url="https://www.lamoda.ru/c/5972/shoes-muzhkedy/?sitelink=topmenuM&l=4&brands=1061,1163,4035,2047,1107&is_sale=1&sort=discount&page=1")
if __name__== "__main__":
main()