как записать большой объем данных с Clickhouse

Всем привет! мне нужно переложить большой объем данных(порядка 2млрд записей в день) с ClickHouse на hdfs. Были попытки через spark со следующими настройками, но это не работает у меня, возможно где-то ошибаюсь

val df = spark.read
  .format("jdbc")
  .option("driver", "cc.blynk.clickhouse.ClickHouseDriver")
  .option("url", "jdbc:clickhouse://local:")
  .option("user", "user")
  .option("password", "pass")
  .option("dbtable", "table")
  .option("partitionColumn", "ts")
  .option("lowerbound", "1624579200")
  .option("upperbound", "1654559999")
  .option("numpartitions", "100")
  .load()

получаю ошибки как правило что-то типа reached end of stream after reading 153916 bytes; 176542 bytes expected