Разделение N файлов для загрузки в потоках

Пишу код в Python 3.10

Как правильно будет сделать следующее?

  1. Выбрать все файлы в папке .CSV - это готово;
  2. Отсортировать их по размеру;
  3. Разделить на потоки, которое количество задано в отдельном файле JSON.

Например:

  1. Моя программа скачала 85 файлов, в каждом N количество строк;
  2. Система имеет 4 потока, это прописано в файле:
...,
"system":{
         "potok": 4
},
...

Как разделить отсортированных 85 файлов на 4 потока и чтобы пока все файлы не выполнили нужный код?
Никогда не известно количество файлов, их размер и количество потоков индивидуально в файле JSON.

Для данного примера должно получиться 4 потока (21, 21, 21, 22)

UPDATE
Сейчас запись идёт передачей в функцию одной строки.

insert into [table]
(col_1, col_2, col_3)
values
(znach_col_1, znach_co2, znach_col_3) -- Передаваемые параметры в функцию

Изменится ли скорость при составлении строки запроса с передачей сразу много строк параметров?

(col_1, col_2, col_3)
values
(znach_col_1, znach_co2, znach_col_3),
(znach1_col_1, znach1_co2, znach1_col_3),
(znach2_col_1, znach2_co2, znach2_col_3),
...

Ответы (0 шт):