Получение содержимого интернетной страницы
Необходимо получить html-код сайта с помощью Python. При получении содержимого страницы с помощью библиотек requests и bs4, оно не соответствует тому, что реально выводится в браузер, и работать с парсингом этого нельзя.
Есть ли какая-нибудь библиотека или метод, который позволит получить все данные корректно?
Ответы (1 шт):
Автор решения: Никитоз Саныч
→ Ссылка
Короче, да. Это библиотека Silenium, но в код нужно еще кое-чего добавить:
driver = webdriver.Chrome()
driver.get("https://zkillboard.com/alliance/99012181/")
time.sleep(10)
so_site = driver.page_source
driver.close()
Почему то при ответе на этот вопрос time.sleep(10) опускают. Но на самом деле она нужна, чтобы страница успела прогрузиться и все скрипты сработали, тогда вы получите полноценный код, иначе, получите "заготовку" - ничем не лучше того, что вы просто воспользуетесь библиотекой requests