Как загрузить большие данные в staging слой с помощью AirFlow без использования дополнительных инструментов?
Передо мной стоит задача загрузить большие данные из xml и postgresql в КХД на postgresql. Соответственно, нужно организовать поток таким образом, чтобы большие данные которые мы извлекаем из источников не хранились в памяти на сервере перед загрузкой в staiging слой.
У меня пока такие мысли: Сделать хранимые процедуры в целевой бд которые используют плагины для извлечения данных непосредственно в БД, а airflow использовать для оркестрации вызовов этих процедур.
Может есть какие-то возможности в airflow которые позволяют загружать данные непостредственно в целевую бд?