Как правильно дописать парсер на Python
Мне надо написать парсер для статей и комментарии к ней, но столкнулся с проблемой при парсинге самих комментариев. Парсер выводит комментарии, но только первый в статье и то много раз. Буду рад помощи. Вот сам код:
from bs4 import BeautifulSoup as bs
import requests
import json
url = 'https://lainelir2.pythonanywhere.com/'
req = requests.get(url)
soup = bs(req.text, 'lxml')
items = {}
for i in soup.find_all('div', class_='container-link'):
articles_url = 'https://lainelir2.pythonanywhere.com' + i.a['href']
articles_name = i.text
articles_name = articles_name.replace('\n', '')
items[articles_name] = articles_url
with open('articles.json', 'w', encoding='utf-8') as file:
json.dump(items, file, indent=4, ensure_ascii=False)
with open('articles.json', encoding='utf-8') as f:
data = json.load(f)
for name, url in data.items():
req = requests.get(url)
soup = bs(req.text, 'lxml')
for text_articles in soup.find_all('div', class_='container-view'):
articles_text = soup.find('div', class_='text-view').text
comment_text = soup.find_all('a', class_='text-reply')
print(comment_text)
Ответы (1 шт):
Автор решения: Сергей Ш
→ Ссылка
for name, url in data.items():
req = requests.get(url)
soup = bs(req.text, 'lxml')
for comment_text in soup.find_all('a', class_='text-reply'):
print(comment_text.text)