Stellen Sie Flask und Pyspark-Code im Azure-App-Dienst bereit
Posted: 05 Jan 2025, 05:10
Der folgende Code wurde verwendet, um den Code bereitzustellen, um zu testen, ob der Azure-App-Dienst funktioniert oder nicht. Aber der Code funktioniert nicht wie erwartet, home_page funktionierte, aber process_data funktioniert nicht, da der Fehler 500 auftritt. Meine Frage ist also, ob wir den App-Dienst für den Spark ausführen können. Endlich funktioniert es in meinem lokalen System, aber nicht im Azure für den Spark.
Ich habe versucht, Spark, Java und Hadoop zu konfigurieren, aber immer noch kein Erfolg.
Code: Select all
spark = SparkSession.builder \
.appName("PySparkApp") \
.master("local[*]") \
.config("spark.driver.bindAddress", "0.0.0.0") \
.config("spark.ui.enabled", "false") \
.config("spark.python.worker.reuse", "true") \
.getOrCreate()
spark.sparkContext.setLogLevel("ERROR") # Suppress non-critical logs
@app.route('/')
def home_page():
return "Welcome To Home Page..."
@app.route('/process')
def process_data():
# Create a DataFrame with some example data
df = spark.createDataFrame([
Row(id=1, rate=2.0, description='string1', date=date(2000, 1, 1),datetime=datetime(2000, 1, 1, 12, 0)),
Row(id=2, rate=3.0, description='string2', date=date(2000, 2, 1), datetime=datetime(2000, 1, 2, 12, 0)),
Row(id=4, rate=5.0, description='string3', date=date(2000, 3, 1), datetime=datetime(2000, 1, 3, 12, 0))
])
# Convert to JSON without pandas
data = df.rdd.map(lambda row: row.asDict()).collect()
# Return data as JSON
return jsonify(data)