Как спарсить список каналов Ютуб на Python

Появилась задачка - нужно спарсить список каналов с Ютуба по ссылке на Python. Написал скрипт:


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)

url = "https://www.youtube.com/results?search_query=авто&sp=EgIQAg%253D%253D"
driver.get(url)

time.sleep(5)

channel_elements = driver.find_elements(By.CSS_SELECTOR, "ytd-channel-renderer.style-scope.ytd-item-section-renderer")

for i, channel_element in enumerate(channel_elements, start=1):
    channel_name_element = channel_element.find_element(By.CSS_SELECTOR,
                                                        "yt-formatted-string.style-scope.ytd-channel-name")
    channel_name = channel_name_element.text.strip()

    channel_link_element = channel_element.find_element(By.CSS_SELECTOR, "yt-formatted-string#subscribers")
    channel_link = channel_link_element.text.strip()

    subscriber_count_element = channel_element.find_element(By.CSS_SELECTOR, "span#video-count")
    subscriber_count = subscriber_count_element.text.strip()

    print(f"{i}. Название канала: {channel_name}")
    print(f"Ссылка: {channel_link}")
    print(f"Количество подписчиков: {subscriber_count}\n")

driver.quit()

Получаю нужный мне ответ. НО! Элементов всего около 20. Нужно больше. Я пытался скроллинг приделать, ничего не получилось. Как было 20, так и осталось.

Как мне получать список бесконечно? Или хотя бы в течении минуты, например.


Ответы (0 шт):