Почему при парсинге Pinterest у меня парсится только первые 10 картинок?

У меня есть код

class Image_parser:
    scroll = 2
    VAR = 'bleach'
    url = f'https://www.pinterest.ie/search/pins/?q={VAR}&rs=typed'
    def get_url_selenium(self, url = url):
        self.scroll_quantity = 25
        self.links_list = []
        self.url = url
        serv = service.Service()
        serv.start()
        driver = webdriver.Remote(serv.service_url)
        driver.get(url)
        html = driver.page_source
        soup = BeautifulSoup(html, 'lxml')

        while self.scroll_quantity != 0:
            driver.execute_script('window.scrollTo(20, document.body.scrollHeight);')
            time.sleep(0.5)
            self.scroll_quantity -= 1

        for full_image in soup.find_all('a', href=True):
            self.links_list.append(full_image['href'])
            print(self.links_list)

Он открывает браузер, и на доске поиска прокручивает страницу вниз, пока счетчик не обнулится. Вся эта махинация ради того- что бы прогрузить побольше картинок. Но есть проблема, даже при прогрузке вниз на 500 картинок, у меня все равно парсится только первые 10-15 картинок, словно ничего и не прокручивалось.


Ответы (0 шт):