Как спарсить список каналов Ютуб на Python
Появилась задачка - нужно спарсить список каналов с Ютуба по ссылке на Python. Написал скрипт:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)
url = "https://www.youtube.com/results?search_query=авто&sp=EgIQAg%253D%253D"
driver.get(url)
time.sleep(5)
channel_elements = driver.find_elements(By.CSS_SELECTOR, "ytd-channel-renderer.style-scope.ytd-item-section-renderer")
for i, channel_element in enumerate(channel_elements, start=1):
channel_name_element = channel_element.find_element(By.CSS_SELECTOR,
"yt-formatted-string.style-scope.ytd-channel-name")
channel_name = channel_name_element.text.strip()
channel_link_element = channel_element.find_element(By.CSS_SELECTOR, "yt-formatted-string#subscribers")
channel_link = channel_link_element.text.strip()
subscriber_count_element = channel_element.find_element(By.CSS_SELECTOR, "span#video-count")
subscriber_count = subscriber_count_element.text.strip()
print(f"{i}. Название канала: {channel_name}")
print(f"Ссылка: {channel_link}")
print(f"Количество подписчиков: {subscriber_count}\n")
driver.quit()
Получаю нужный мне ответ. НО! Элементов всего около 20. Нужно больше. Я пытался скроллинг приделать, ничего не получилось. Как было 20, так и осталось.
Как мне получать список бесконечно? Или хотя бы в течении минуты, например.