Silenium парсит только часть страницы
Всем привет! Пытаюсь спарсить страницы с коэффициентами футбольных событий, но возникла проблема ( Silenium почему-то парсит только часть страницы, при этом начало и конец есть. Попробовал прокрутить страницу, но результата это не дало ( Помогите плиз понять в чем проблема.
driver.get('https://www.oddsportal.com/football/germany/bundesliga-2022-2023/results/#/page/1/')
driver.execute_script("window.scrollBy(0, 1600)")
title_div = driver.find_element_by_class_name('flex')
f = open('coef.csv', 'w', encoding='UTF-8')
f.write(title_div.text)
f.close()
f = open('coef.csv', encoding='UTF-8')
text = f.read()```
Ответы (1 шт):
Автор решения: Владимир Гусев
→ Ссылка
Всем спасибо!) Проблему решил, довольно таки просто, добавил 2 строки: прокрутить до конца и ждать 10 секунд, после спарсилась вся страница.
driver.get('https://www.oddsportal.com/football/germany/bundesliga-2022-2023/results/#/page/1/')
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(10)
title_div = driver.find_element_by_class_name('w-full')
f = open('coef.csv', 'w', encoding='UTF-8')
f.write(title_div.text)
f.close()
f = open('coef.csv', encoding='UTF-8')
text = f.read()```