Проблема при парсинге

Question

Вобщем вот мой парсер python.Я собираю данные(название,картинка,год,описание) ссылка на сайт https://animego.org/anime .Как я понял сайт динамический, по-этому я покопался в сети и нашел полный url, дальше как я понял у сайта всего 96 страниц.Данные собрались.НО не полность собралось всего лишь 1 страница наверное.Помогите пожалуйста.

import requests
from bs4 import BeautifulSoup
import csv

def save(all):
    with open('example2.csv', 'w') as myfile:
        writer = csv.writer(myfile)
        writer.writerows(all)
 
print("Идёт сбор данных...")
def parse():
    for page in range(1,97):
        url = f"https://animego.org/anime?sort=a.createdAt&direction=desc&type=animes&page={page}" #96
        r = requests.get(url=url)
        soup = BeautifulSoup(r.content,'html.parser')
        divs = soup.findAll("div", {"class":"animes-list-item media"})
        all = []
        print(f"Собранно страниц {page} / 97")
        for div in divs:
            link = div.find("a",{"class":"d-block"}).get('href')
            title = div.find("div",{"class":"h5 font-weight-normal mb-1"}).text
            year = div.find("span",{"class":"anime-year mb-2"}).find('a',{"class":"text-link-gray text-underline"}).text
            img = div.find("div",{"class":"anime-list-lazy lazy"}).get('data-original')
            sd = div.find("div",{"class":"description d-none d-sm-block"}).text
            all.append((link, title, year, img, sd))

        save(all=all)
parse()

Answer 1

Все.Я понял где у меня была ошибка массив data = [],нужно было вынести за первый цикл for.

import requests
from bs4 import BeautifulSoup
import csv

def save(data):
    with open('example2.csv', 'w') as myfile:
        writer = csv.writer(myfile)
        writer.writerows(data)

print("Идёт сбор данных...")
def parse():
    data = []
    for page in range(1,97):
        url = f"https://animego.org/anime?sort=a.createdAt&direction=desc&type=animes&page={page}" #96
        r = requests.get(url=url)
        soup = BeautifulSoup(r.content,'html.parser')
        divs = soup.findAll("div", {"class":"animes-list-item media"})
        print(f"Собранно страниц {page} / 96")
        for div in divs:
            link = div.find("a",{"class":"d-block"}).get('href')
            title = div.find("div",{"class":"h5 font-weight-normal mb-1"}).text
            year = div.find("span",{"class":"anime-year mb-2"}).find('a',{"class":"text-link-gray text-underline"}).text
            img = div.find("div",{"class":"anime-list-lazy lazy"}).get('data-original')
            sd = div.find("div",{"class":"description d-none d-sm-block"}).text
            data.append((link, title, year, img, sd))

        save(data=data)
parse()

БЛОГ НА HUSL

Проблема при парсинге

Ответы (1 шт):