Stellen Sie Flask und Pyspark-Code im Azure-App-Dienst bereit ⇐ Python

[Guest]

Der folgende Code wurde verwendet, um den Code bereitzustellen, um zu testen, ob der Azure-App-Dienst funktioniert oder nicht. Aber der Code funktioniert nicht wie erwartet, home_page funktionierte, aber process_data funktioniert nicht, da der Fehler 500 auftritt. Meine Frage ist also, ob wir den App-Dienst für den Spark ausführen können. Endlich funktioniert es in meinem lokalen System, aber nicht im Azure für den Spark.

Code: Select all

spark = SparkSession.builder \
.appName("PySparkApp") \
.master("local[*]") \
.config("spark.driver.bindAddress", "0.0.0.0") \
.config("spark.ui.enabled", "false") \
.config("spark.python.worker.reuse", "true") \
.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")  # Suppress non-critical logs

@app.route('/')
def home_page():
return "Welcome To Home Page..."

@app.route('/process')
def process_data():
# Create a DataFrame with some example data
df = spark.createDataFrame([
Row(id=1, rate=2.0, description='string1', date=date(2000, 1, 1),datetime=datetime(2000, 1, 1, 12, 0)),
Row(id=2, rate=3.0, description='string2', date=date(2000, 2, 1), datetime=datetime(2000, 1, 2, 12, 0)),
Row(id=4, rate=5.0, description='string3', date=date(2000, 3, 1), datetime=datetime(2000, 1, 3, 12, 0))
])

# Convert to JSON without pandas
data = df.rdd.map(lambda row: row.asDict()).collect()

# Return data as JSON
return jsonify(data)

Ich habe versucht, Spark, Java und Hadoop zu konfigurieren, aber immer noch kein Erfolg.