Как получить список ссылок из списка ссылок?
Парсинг сайта на Python. Есть задача, сайт-каталог компаний с такой структорой:
- Список областей страны. На них список ссылок получить не проблема.
- В каждой области есть список компаний, данные которых надо получить. Как пробежаться по всем ссылкам на области и получить ссылки на компании. У меня получается получить только по 1 первой ссылке из каждой ссылки на область.
Сорри, сейчас с телефона, нет возможности написать код. Но суть такова: отсюда https://krs-pobierz.pl/kategoria/wojewodztwo сохранил ссылки на области в спосок obl_links.txt. Далее, если зайти в каждую область, видим список компаний: https://krs-pobierz.pl/wojewodztwo/dolnośląskie?q=. И соответственно, нужно получить список линков этих компаний для того, чтоб в дальнейшем спарсить данные. Код прост как двери. With open obl_links.txt. Далее передаю в суп, find_all все блоки компаний (boxes) по тегу. В цикле for l in boxes:links_comp = find(тег). Get(“href”). Собирает по 1 первой ссылке из каждой ссылки из файла. Каким образом пробежаться и собрать все ссылки. Bs библиотеку изучаю, но не могу ниодин вариант сюда прикрутить.
Спасибо.