парсинг сайта не получается спарсировать ссылки

Question

текст выводится а вот ссылки с сайта не получается что делать? хотел получить это Человек-бензопила|https://animego.org/anime/chelovek-benzopila-2119 а получил это Человек-бензопила|https://animego.org/None

import urllib3
import re
import requests
import lxml
from bs4 import BeautifulSoup as b
import random
import telebot
def get_first_anime ():
    headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"}
    url="https://animego.org/anime?sort=r.rating&direction=desc"
    r=requests.get(url=url, headers=headers)
    soup=b(r.text, 'html.parser')
    animes=soup.find_all("div", class_="animes-list-item media")
    for article in animes:
        anime_title=article.find("div",class_="h5 font-weight-normal mb-1").text.strip()
        animes_url=f'https://animego.org/{article.get("href")}'
        print(f"{anime_title}|{animes_url}")
get_first_anime()

хотел получить это Человек-бензопила|https://animego.org/anime/chelovek-benzopila-2119 а получил это

Answer 1

Найдите div класса media-body, найдите следующий за ним a (через find или find_next), получите параметр href через get

import requests
from bs4 import BeautifulSoup as Soup

response = requests.get(
    'https://animego.org/anime',
    params={
        'sort': 'r.rating',
        'direction': 'desc'
    }
)

soup = Soup(response.content, 'html.parser')

print(
    *(
        item.find('a').get('href')
        for item in soup.find_all('div', {'class': 'media-body'})
    ),
    sep='\n'
)

https://animego.org/anime/chelovek-benzopila-2119
https://animego.org/anime/ohotnik-h-ohotnik-2-280
https://animego.org/anime/krutoy-uchitel-onidzuka-556
https://animego.org/anime/klinok-rassekayuschiy-demonov-kvartal-krasnyh-fonarey-1876
https://animego.org/anime/bleach-sennen-kessen-hen-2129
https://animego.org/anime/kod-gias-vosstavshiy-lelush-2-286
https://animego.org/anime/vayolet-evergarden-film-1778
https://animego.org/anime/magistr-dyavolskogo-kulta-3-1858
https://animego.org/anime/reinkarnaciya-bezrabotnogo-istoriya-o-priklyucheniyah-v-drugom-mire-2-1893
https://animego.org/anime/vosemdesyat-shest-2-1891
https://animego.org/anime/korzinka-fruktov-final-1746
https://animego.org/anime/agent-vremeni-1780
https://animego.org/anime/ochen-priyatno-bog-budte-schastlivy-356
https://animego.org/anime/unesennye-prizrakami-268
https://animego.org/anime/gurren-lagann1-829
https://animego.org/anime/priyatno-poznakomitsya-bog-2-ova-355
https://animego.org/anime/stalnoy-alhimik-bratstvo-126
https://animego.org/anime/van-pis-65
https://animego.org/anime/vtorzhenie-gigantov-3-vtoraya-chast-973
https://animego.org/anime/doktor-stoun-ryusuy-2092

БЛОГ НА HUSL

парсинг сайта не получается спарсировать ссылки

Ответы (1 шт):