Последовательное обновление таблиц в postgres

На базе airflow создан ETL процесс для обновления слоя сырых данных в DWH Далее производится очистка и агрегация таблиц с сырыми данными и в конечном итоге после этого генерируются конечные витрины

Вопрос: каким образом обрабатывать слои в DWH. Была идея сделать триггеры при обновлении слоя сырых данных, но тяжело поддерживать и возможна большая нагрузка на базу Так же думал обрабатывать дальше с помощью airflow, но получается много бесполезной логики

Подскажите, пожалуйста, текущие тенденции использования методов обработки слоев данных в DWH


Ответы (0 шт):