Парсинг на Python выводит нежданчик
Надо спарсить с сайта https://www.marvel.com/characters имена героев. Только имена (DOCTOR STRANGE, WANDA MAXIMOFF и т.д.). Однако, собираются не все данные с сайта, а если использовать наиболее ближайшие div контейнера к имена героев, то к выводу добавляются данные, которые на странице не видны. Как можно спарсить все имена героев (только те, что видны на странице, хотя и в исходном коде странице я эти данные не нашел), только с первой страницы?
from bs4 import BeautifulSoup as bs
import requests
page = requests.get('https://www.marvel.com/characters')
soup = bs(page.text, 'html.parser')
all_hero = []
filter_hero = []
all_hero = soup.findAll('div', class_='grid-base grid__6')
for name in all_hero:
if name.find('p', class_='card-body__headline') is not None:
filter_hero.append(name.text)
for hero_name in filter_hero:
print(hero_name)