Как выполнять несколько разных скриптов с одной БД SQLite и одним файлом конфига
Делаю пет-проект на Python, и возникла необходимость создания нескольких идентичных скриптов (парсит просто разные ссылки по единому алгоритму), но они работают с единой базой SQLite и подтягивают конфиги из одного YAML файла.
Прошу совета по вопросам: Я все это дело хочу выложить на сервер. Как это все грамотно завернуть в докер и крутить по крону? Все скрипты должны будут запускаться в одно и то же время.
Еще вопрос, скрипты с параллельным запросом в БД и конфиг нормально отработают? На тестах получилось так, что при работе одного скрипта, второй выбивал ошибку при доступе к конфигам.
Ответы (1 шт):
Я бы не советовал использовать параллельные запросы в SQLite, можно цитату из доков?
...SQLite будет работать через сетевую файловую систему, но из-за задержек, связанных с большинством сетевых файловых систем, производительность будет не очень высокой. Кроме того, во многих реализациях сетевых файловых систем (как на Unix, так и на Windows) логика блокировки файлов работает с ошибками. Если блокировка файлов работает некорректно, два или более клиентов могут попытаться одновременно изменить одну и ту же часть одной и той же базы данных, что приведет к ее повреждению...