Последовательное обновление таблиц в postgres
На базе airflow создан ETL процесс для обновления слоя сырых данных в DWH Далее производится очистка и агрегация таблиц с сырыми данными и в конечном итоге после этого генерируются конечные витрины
Вопрос: каким образом обрабатывать слои в DWH. Была идея сделать триггеры при обновлении слоя сырых данных, но тяжело поддерживать и возможна большая нагрузка на базу Так же думал обрабатывать дальше с помощью airflow, но получается много бесполезной логики
Подскажите, пожалуйста, текущие тенденции использования методов обработки слоев данных в DWH