Scrapy закрывает spyder без видимой ошибки

Есть код для сайта по авто.

class AutospiderSpider(scrapy.Spider):
    name = 'autospider'

    def start_requests(self):
        keyword_list = ['subaru']
        for keyword in keyword_list:
            auto_search_url = f'https://auto.ru/krasnodarskiy_kray/cars/{keyword}/all/?page=1'
            yield scrapy.Request(url=auto_search_url, callback=self.discover_car_urls, meta={'keyword': keyword, 'page': 1})

    def discover_car_urls(self, response):
        page = response.meta['page']
        keyword = response.meta['keyword']
        #Discover Car URLs
        search_cars = response.css("div.ListingItem")
        for car  in search_cars:
            car_url = car.css("a.Link.OfferThumb::attr(href)").get()
            yield scrapy.Request(url=car_url, callback=self.parse_car_data, meta={'keyword': keyword, 'page': page})

        ## Get All Pages
        if page == 1:
            available_pages = response.css('a.ListingPagination__page::text').getall()

            for page_num in available_pages:
                auto_search_url = f'https://auto.ru/krasnodarskiy_kray/cars/{keyword}/all/?page={page_num}'
                yield scrapy.Request(url=auto_search_url, callback=self.discover_car_urls, meta={'keyword': keyword, 'page': page_num})

    def parse_car_data(self, response):

        price = response.css("span.OfferPriceCaption__price").get("").strip()
        if price != None:
            price = price.replace('\u00a0', '').replace('\u20bd', '').strip()
        yield {
            "brand": response.css("h1.CardHead__title::text").get(),
            "price": price,
             }
2022-12-26 16:49:45 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://proxy.scrapeops.io/v1/?api_key=cf3a2102-2bf1-4ed1-90a5-b9b676b98009&url=https%3A%2F%2Fauto.ru%2Fkrasnodarskiy_kray%2Fcars%2Fsubaru%2Fall%2F%3Fpage%3D1> (referer: None)
2022-12-26 16:49:45 [scrapy.core.engine] INFO: Closing spider (finished)

Паук закрывается автоматически после получения первой ссылки. Аналогичный код на похожих сайтах работает отлично. Подскажите, пожалуйста, в чём может быть проблема.


Ответы (0 шт):