Многократный запуск scrapy spider

Я бы хотел запускать своего паука из функции как объект, чтобы при каждом запуске изменялось его поле последней посещенной страницы. Проблема в том, что когда паук оканчивает парсинг вызов функции, в которой я запускаю process выдает ошибку twisted.internet.error.ReactorAlreadyInstalledError: reactor already installed. Ниже привожу код паука:

import scrapy
 
from news_parse.news_parse.items import NewsParseItem
from scrapy.loader import ItemLoader
 
class LinksSpider(scrapy.Spider):
    name = "links"
    trashbox = ''
    start_urls = ['https://trashbox.ru/texts/' + trashbox, ]
    
    def parse(self, response):
        self.trashbox = str(int (response.css('span.span_item_active::text').get()) - 1)
        for link in response.css('a.a_topic_cover::attr(href)'):
            yield response.follow(link, callback=self.parse_trashbox)
        
 
    def parse_trashbox(self, response):
        ld = ItemLoader(item=NewsParseItem(), response=response)
        
        ld.add_value('next', self.trashbox)
        ld.add_css('text', 'p::text')
        ld.add_css('title', 'title::text')
        ld.add_value('link', response)
 
        yield ld.load_item()

В данном случае я хочу изменить поле trashbox, чтобы при каждом вызове функции начинать кроулить со следующей страницы. Как я могу это сделать?


Ответы (0 шт):