Перезаписывает страницу в Python, Pandas
есть код:
import pandas as pd
import requests # pip install requests
from bs4 import BeautifulSoup # pip install bs4
from counter import integer_part, value
# pip install lxml
count = 2
while count <= integer_part:
url = (f'https://mircli.ru/{value}/?vid=1&page={count}')
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
data = requests.get(url, headers=headers).text
block = BeautifulSoup(data, 'lxml')
heads = block.find_all('div', class_='row product-horisont')
print(len(heads))
# Подготавливаем списки для хранения данных
data = {
'категория': [],
'наименование': [],
'цена': [],
'артикул': [],
'характеристики': [],
'фото': []
}
for i in heads:
razdel = i.find_next('p', class_='text-grey').text.strip()
print(razdel)
name = i.find_next('p', class_='text-grey').find_next('a').text.strip()
print(name)
try:
price = i.find_next('span', class_='price').text.strip()
print(price)
except:
print('None')
price = 'None'
artic = i.find_next('div', class_='block-characteristic').text.strip()
print(artic)
pixx = 'https://mircli.ru' + i.find_next('div', class_='block-images-position-bottom').find('img')['src']
print(pixx)
try:
params = i.find_next('ul', class_='menu-dot').find_all('li')
all_params = []
for param in params:
print(' '.join(param.text.strip().split()).replace('?', ''))
characts = (' '.join(param.text.strip().split()).replace('?', ''))
all_params.append(characts)
except:
print('None')
characts = 'None'
all_params.append(characts)
print('\n')
# Добавляем данные в соответствующие списки
data['категория'].append(razdel)
data['наименование'].append(name)
data['цена'].append(price)
data['артикул'].append(artic)
data['характеристики'].append(all_params)
data['фото'].append(pixx)
# Создаем DataFrame
df = pd.DataFrame(data)
# Сохраняем данные в Excel
df.to_excel("products.xlsx", index=False)
print("Данные успешно сохранены в products.xlsx")
count += 1
print(count)
ВОПРОС: почему перезаписыватся страница, а не записываются данные совсех страниц? Если кто знает подскажите где ошибка?