Ссылки собираются по 2 раза в одном цикле. Что не так?
Собираю ссылки на сайте для дальнейшего разбора. Все как обычно, но почему-то как-то криво все собирается. В результате выполнения этого кода, из предполагаемых 60-ти ссылок (с 2-х страниц), собирает 90 ссылок. При этом ссылки с 1-й страницы повторяются по 2 раза, ссылки со 2-й страницы, по 1 разу как и должно быть. Вот сам код:
l1_links = []
for i in range(2, 4):
url = 'https://krs-pobierz.pl/wojewodztwo/dolno%C5%9Bl%C4%85skie?q=&page={}'.format(i)
time.sleep(3)
r = requests.get(url, headers)
soup = BeautifulSoup(r.text, 'lxml')
boxes = soup.find_all('div', class_='col-9')
for w in boxes:
woed_links = w.find('h4').find('a').get('href')
l1_links.append(woed_links)
with open('l1_links.txt', 'a') as f:
for w in l1_links:
f.write(f'{w}\n')
Ответы (1 шт):
Автор решения: RottenRat
→ Ссылка
Два варианта решения проблемы:
Забываем очищать список
l1_links, если запись в файл происходит в цикле. Для этого в начале цикла обнуляйте списокПросто вынесите запись в файл вне цикла