Почему при парсинге Pinterest у меня парсится только первые 10 картинок?
У меня есть код
class Image_parser:
scroll = 2
VAR = 'bleach'
url = f'https://www.pinterest.ie/search/pins/?q={VAR}&rs=typed'
def get_url_selenium(self, url = url):
self.scroll_quantity = 25
self.links_list = []
self.url = url
serv = service.Service()
serv.start()
driver = webdriver.Remote(serv.service_url)
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
while self.scroll_quantity != 0:
driver.execute_script('window.scrollTo(20, document.body.scrollHeight);')
time.sleep(0.5)
self.scroll_quantity -= 1
for full_image in soup.find_all('a', href=True):
self.links_list.append(full_image['href'])
print(self.links_list)
Он открывает браузер, и на доске поиска прокручивает страницу вниз, пока счетчик не обнулится. Вся эта махинация ради того- что бы прогрузить побольше картинок. Но есть проблема, даже при прогрузке вниз на 500 картинок, у меня все равно парсится только первые 10-15 картинок, словно ничего и не прокручивалось.