Das Festlegen der Pfaddatei als Parameter funktionierte in Python Pyspark nicht ⇐ Python

[Anonymous]

Ich möchte einen Code ausführen, der die Daten mithilfe des JDBC-Treibers erfassen und in einem Dateipfad speichern kann. Die Daten wurden erfolgreich erfasst, aber die Speicherfunktion funktionierte nicht. Ich weiß, dass wir Code wie diesen verwenden können, um Daten zu speichern:

Code: Select all

a.write.mode("overwrite").parquet("test/partition_test.parquet")

Kann ich den Dateipfad auf irgendeine Weise als Parameter festlegen? Ich habe versucht, den Parameter wie folgt festzulegen, aber es hat nicht funktioniert.
Mein Code:

Code: Select all

def ingest(spark, db_url, tablename, username, password,destination, driver, save_format="parquet"):
a = spark.read.format("jdbc").option("url",db_url).option("dbtable",tablename).option("user", username).option("password",password).option("path", destination).option("driver",driver).load()
return a

ingest(spark, "jdbc:mysql://192.168.122.1:3306/users", "users", "root", "123456@h21","/path", "com.mysql.jdbc.Driver", save_format="parquet")