Сложение значений столбцов sparkSql
У меня есть задача сложить большое количество значений примерно 20 столбцов, в которых могут содержаться Null. Какую функцию я могу использовать при сложении, чтоб не получить на выходе Null?
Ответы (1 шт):
Автор решения: Alex Ott
→ Ссылка
можно использовать функцию nanvl из org.apache.spark.sql.functions, примерно так (не тестировал):
import org.apache.spark.sql.functions._
val zero = lit(0)
df.select(nanvl($col1, zero) + nanvl($col2, zero)...)