Стоит задача в переливке данных из БД oracle в postgreSQL с помощью airflow
Есть написанный DAG , который в целом переливает данные из одной бд в другую, но скорость переливки 1000 строк каждые 5 сек, что очень медленно. Хотелось бы узнать, в чем может быть проблема
from datetime import datetime, timedelta
from airflow import DAG
from airflow.decorators import task
dag_params = {
'dag_id': 'oracle_postgres',
'start_date': datetime(2024, 8, 6),
'catchup': False,
'schedule_interval': "@daily"
}
with DAG(**dag_params) as dag:
@task()
def my_task():
import os
os.environ["LD_LIBRARY_PATH"] = "/app/libs/instantclient_oracle/"
from airflow.hooks.postgres_hook import PostgresHook
from airflow.hooks.oracle_hook import OracleHook
from airflow.operators.oracle_operator import OracleOperator
from airflow.operators.postgres_operator import PostgresOperator
#from airflow.providers.oracle.hooks.oracle import OracleHook
src = OracleHook(oracle_conn_id='KIH_DEV')
dest = PostgresHook(postgres_conn_id='MSFO_PG_DEV')
src_conn = src.get_conn()
cursor = src_conn.cursor()
dest_conn = dest.get_conn()
dest_cursor = dest_conn.cursor()
cursor.execute("SELECT * FROM IFRS_SOURCE.REF_ACNT_DEAL_LINK_H_TEST_AIRFLOW")
dest.insert_rows(table="MSFO.REF_ACNT_DEAL_LINK_H_TEST_AIRFLOW", rows=cursor)
my_task()