Scala: прочитать файлы по пути из колонки датафрейма

У меня есть датафрейм с полем id и путем,выглядит следующим образом: введите сюда описание изображения

мне нужно прочить файлы(пусть это будет csv)и сопоставить их с id. Я ожидаю, что должно получиться:

введите сюда описание изображения

пока я даже не могу разобраться, как прочитать файлы из пути, указанного в датфрейме, все мои знания приводят к тому, чтобы получить из датафрейма список путей и прочитать каждый:

   val listValues = df.select(
      col("path")).map(f=>f.getString(0))
      .collect.toList

val ReadCsv = spark.read.format("csv").load(listValues:_*)

но как потом сопоставить с id?


Ответы (0 шт):