Почему у меня не работает мой парсер на Scrapy?
Данные должны сохраняться в json файл, но ничего не происходит и создается просто пустой файл. В чем моя ошибка? В settings установлено DOWNLOAD_DELAY = 3 и ROBOTSTXT_OBEY = False
Вот мой код
from scrapy.spiders import CrawlSpider
class WildberriesSpider(CrawlSpider):
name = 'wildberriesSpider'
allowed_domains = ['www.wildberries.ru']
start_urls = [
'https://www.wildberries.ru/catalog/elektronika/noutbuki-pereferiya/noutbuki-ultrabuki?sort=popular&page=1'
]
def parse(self, response):
for product in response.css('article.product-card'):
link = product.css('a.j-open-full-product-card::attr(href)').get()
price = product.css('ins.price__lower-price::text').get()
if price is not None:
price = price.replace('\u00a0', '').replace('\u20bd', '').strip()
yield {
'link': link,
'brand': product.css('span.product-card__brand::text').get().strip(),
'name': product.css('span.product-card__name::text').get().strip(),
'price': price
}
next_page = response.css('a.pagination-next::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, callback=self.parse)