Инструмент для визуализации ETL/ELT процессов
Сейчас используем Talend для "рисования" джобов, далее в качестве оркестратора используем Airflow, в котором эти джобы бегают. Airflow нравится. Удобный open source инструмент, расширяемый, можно сделать свои плагины, кастомизировать как угодно. Бесплатная Talend Studio напрягает своей громоздкостью, неудобностью. Приходится приделывать кучу костылей чтобы получить то, что нам нужно. Есть ли удобный инструмент на замену Talend Studio, необходимые критерии:
- Возможность рисовать ETL процессы (условно "источник -> join -> join -> приемник"). Или визуализировать в удобном варианта написанный код (удобный вариант это в настоящем времени отображать изменения или по кнопке, возможность при нажатии на "кубик" в визуализации перейти к блоку кода)
- Возможность подтягивать из БД метаданные по таблицам, чтобы использовать их в ETL.