Перенос большой таблицы из Oracle в Postgres при помощи Airflow

Ситуация следующая:

  • есть база данных Oracle, выступающая в качестве источника данных. В ней таблицы по 350 млн записей.
  • есть база данных GreenPlum, она используется как место где собираются данные из разных источников, в частности из Oracle.

Требуется при помощи Airflow переносить данные из Oracle в GreenPlum с возможностью до загрузки изменений или полную перезапись всей таблицы. Есть настроенные коннекторы на Oracle и на Greenplum внутри Airflow. Так же с GreenPlum на Oracle можно создавать внешние таблицы при помощи pxf.

Вопрос такой: как правильней всего перенести большое количество записей из Oracle в GreenPlum при помощи Airflow? И возможно ли вообще это сделать эффективно при помощи Airflow? Через pxf это занимает слишком много времени.


Ответы (0 шт):