Fehler: Spark User hat den Spark -Kontext nicht initialisiert ⇐ Python

[Anonymous]

Ich bekomme diesen Fehler vom Spark mit Hadoop und PySpark < /p>

Code: Select all

ApplicationMaster: Waiting for spark context initialization...
25/05/12 23:56:11 INFO ApplicationMaster: Final app status: FAILED, exitCode: 13
25/05/12 23:56:11 ERROR ApplicationMaster: Uncaught exception:
java.lang.IllegalStateException: User did not initialize spark context!
< /code>
Dies ist mein Code: < /p>
import pyspark
import numpy as np
from pyspark.sql import SparkSession
from utils import YtXSparkJob
import random

def main(args):
# inicializar spark
spark = SparkSession.builder.appName("sPCA").getOrCreate()
sc = spark.sparkContext  # así obtienes el SparkContext moderno
random.seed(42)
np.random.seed(42)
....
# some code
YtXSparkJob(..., spark)

if __name__ == '__main__':
"""Run sPCA"""
#... some code
main(args)

< /code>
Ich verwende eine Utils.py -Datei und es scheint, dass der Fehler von dort aus kommt und die Benutzeroberfläche der Spark -Clusterknoten betrachtet. Utils.py hat einige Helferfunktionen, die ich benötige. Diese Funktionen benötigen den Spark -Kontext, sodass ich ihn als Parameter < /p>
übergeben habedef YtXSparkJob(Y, Ym, Xm, CM, D, d, spark):
sc = spark.sparkContext
# I need to use sc in this function to broadcast some variables
< /code>
Und so führe ich den Spark -Code in meinem Terminal < /p>
ausspark-submit --master yarn --deploy-mode cluster --archives env.tar.gz#environment --py-files accumulators.py utils.py sPCA.py --input "hdfs:///grupoh/challenge/input/datos_1.txt" --dim 2 --maxIters 10 --output "hdfs:///grupoh/challenge/output/datos_1_spark_pca.txt"