Как я могу подключиться к локально развернутому спарку через airflow?

Я пытаюсь запустить джобу спарка через эирфлоу, используя следующий код:

spark = (SparkSession
            .builder
            .master("spark://172.22.102.229:7077")
            .appName("Test")
            .getOrCreate())

Но получаю ошибку

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem

Когда я меняю .master("spark://172.22.102.229:7077") на .master("local") это работает

Спарк развернут и доступен по адресу http://172.22.102.229:4040/