Как спарсить информацию на сайте python?
Подскажите, как взять информацию по конкретной ссылке из закрытой вкладки. Переходя на страницу, чтобы посмотреть другие данные, необходимо нажать на кнопку и тогда открывается дополнительная карточка. Достаю массивы ссылок:
for i in range(10):
url = f"https:example.com={i}"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('div', {'data-qaid': 'company_link'})
for titles in titles:
title = titles.find('span', {'data-qaid': 'company_link'})
link = titles.find('a')['href']
if(my_links.__contains__(f'{title} {link}')):
pass
else:
my_links.append(f'{title} {link}')
for item in my_links: print(item)