Как добавить ожидание загрузки всего контента python requests
У меня есть парсер, отслеживающий контент на одном сайте. Проблема в том, что основной контент на главной странице подгружается асинхронно в течение ещё секунд 15-ти, но requsts в python уже возвращает мне результат, естественно с пустым массивом необходимых мне данных.
К примеру код:
page = requests.get(path_to_site, timeout=30)
page_soup = BeautifulSoup(page.text, 'html.parser')
print(page_soup.find_all(class_='css-r7wjyo'))
возвращает в консоли [ ]
Есть какая-то возможность исправить ситуацию?