Многократный запуск scrapy spider
Я бы хотел запускать своего паука из функции как объект, чтобы при каждом запуске изменялось его поле последней посещенной страницы. Проблема в том, что когда паук оканчивает парсинг вызов функции, в которой я запускаю process выдает ошибку twisted.internet.error.ReactorAlreadyInstalledError: reactor already installed. Ниже привожу код паука:
import scrapy
from news_parse.news_parse.items import NewsParseItem
from scrapy.loader import ItemLoader
class LinksSpider(scrapy.Spider):
name = "links"
trashbox = ''
start_urls = ['https://trashbox.ru/texts/' + trashbox, ]
def parse(self, response):
self.trashbox = str(int (response.css('span.span_item_active::text').get()) - 1)
for link in response.css('a.a_topic_cover::attr(href)'):
yield response.follow(link, callback=self.parse_trashbox)
def parse_trashbox(self, response):
ld = ItemLoader(item=NewsParseItem(), response=response)
ld.add_value('next', self.trashbox)
ld.add_css('text', 'p::text')
ld.add_css('title', 'title::text')
ld.add_value('link', response)
yield ld.load_item()
В данном случае я хочу изменить поле trashbox, чтобы при каждом вызове функции начинать кроулить со следующей страницы. Как я могу это сделать?