Как загрузить большие данные в staging слой с помощью AirFlow без использования дополнительных инструментов?

Передо мной стоит задача загрузить большие данные из xml и postgresql в КХД на postgresql. Соответственно, нужно организовать поток таким образом, чтобы большие данные которые мы извлекаем из источников не хранились в памяти на сервере перед загрузкой в staiging слой.

У меня пока такие мысли: Сделать хранимые процедуры в целевой бд которые используют плагины для извлечения данных непосредственно в БД, а airflow использовать для оркестрации вызовов этих процедур.

Может есть какие-то возможности в airflow которые позволяют загружать данные непостредственно в целевую бд?


Ответы (0 шт):