Разделение N файлов для загрузки в потоках
Пишу код в Python 3.10
Как правильно будет сделать следующее?
- Выбрать все файлы в папке .CSV - это готово;
- Отсортировать их по размеру;
- Разделить на потоки, которое количество задано в отдельном файле JSON.
Например:
- Моя программа скачала 85 файлов, в каждом N количество строк;
- Система имеет 4 потока, это прописано в файле:
...,
"system":{
"potok": 4
},
...
Как разделить отсортированных 85 файлов на 4 потока и чтобы пока все файлы не выполнили нужный код?
Никогда не известно количество файлов, их размер и количество потоков индивидуально в файле JSON.
Для данного примера должно получиться 4 потока (21, 21, 21, 22)
UPDATE
Сейчас запись идёт передачей в функцию одной строки.
insert into [table]
(col_1, col_2, col_3)
values
(znach_col_1, znach_co2, znach_col_3) -- Передаваемые параметры в функцию
Изменится ли скорость при составлении строки запроса с передачей сразу много строк параметров?
(col_1, col_2, col_3)
values
(znach_col_1, znach_co2, znach_col_3),
(znach1_col_1, znach1_co2, znach1_col_3),
(znach2_col_1, znach2_co2, znach2_col_3),
...