Стоит задача в переливке данных из БД oracle в postgreSQL с помощью airflow

Есть написанный DAG , который в целом переливает данные из одной бд в другую, но скорость переливки 1000 строк каждые 5 сек, что очень медленно. Хотелось бы узнать, в чем может быть проблема

from datetime import datetime, timedelta
from airflow import DAG
from airflow.decorators import task


dag_params = {
    'dag_id': 'oracle_postgres',
    'start_date': datetime(2024, 8, 6),
    'catchup': False,
    'schedule_interval': "@daily"
}
with DAG(**dag_params) as dag:

    @task()
    def my_task():
        import os
        os.environ["LD_LIBRARY_PATH"] = "/app/libs/instantclient_oracle/"
        from airflow.hooks.postgres_hook import PostgresHook
        from airflow.hooks.oracle_hook import OracleHook
        from airflow.operators.oracle_operator import OracleOperator
        from airflow.operators.postgres_operator import PostgresOperator
        #from airflow.providers.oracle.hooks.oracle import OracleHook
        src = OracleHook(oracle_conn_id='KIH_DEV')
        dest = PostgresHook(postgres_conn_id='MSFO_PG_DEV')
        src_conn = src.get_conn()
        cursor = src_conn.cursor()
        dest_conn = dest.get_conn()
        dest_cursor = dest_conn.cursor()
        cursor.execute("SELECT * FROM IFRS_SOURCE.REF_ACNT_DEAL_LINK_H_TEST_AIRFLOW")
        dest.insert_rows(table="MSFO.REF_ACNT_DEAL_LINK_H_TEST_AIRFLOW", rows=cursor)

    my_task()

Ответы (0 шт):