Wie schreibe ich eine Parkettdatei in Databricks Volume? ⇐ Python

[Anonymous]

Ich möchte Daten aus Tabellen in meinem Databricks Unity-Katalog exportieren. Ich möchte jede der Tabellen in eine einzelne Parkettdatei umwandeln, die ich herunterladen kann. Ich dachte, ich schreibe einfach eine Tabelle in eine Parquet-Datei in meinem Unity Catalogue Volume (deren Dateien und Inhalte ich auch in meinem Microsoft Azure Storage Explorer sehen kann), damit ich sie einfach herunterladen kann. Das hat nicht funktioniert. Was ich also ausprobiert habe, waren die folgenden Ansätze:

• Code: Select all

  spark.table(my_unity_catalog_table_path).repartition(1).write.format('parquet').mode('overwrite').save('/Volumes/my_volume_name/my_table')

  . Databricks hat mir gesagt, dass ich nicht auf ein solches Volume schreiben darf.
• Schreiben Sie dieselbe Tabelle wie „/Workspace/Users/myuser/my_table“ in den Arbeitsbereich, aber das hat auch nicht funktioniert, da keine Datei erstellt wurde, obwohl ich überhaupt keine Fehlermeldung erhalten habe.
• Schreiben Sie dieselbe Tabelle in das tmp-Verzeichnis wie „/tmp/my_table“, aber das hat auch nicht funktioniert, da keine Datei erstellt wurde Ich habe überhaupt keine Fehlermeldung erhalten.
• Transformieren Sie die Tabelle in Pandas und schreiben Sie eine Parquet-Datei in den Arbeitsbereich wie spark.table(my_unity_catalog_table_path).toPandas().to_parquet('/Workspace/Users/myuser/my_table.parquet'), was funktionierte, aber nicht für größere Tabellen, da der Arbeitsbereich meiner Meinung nach Beschränkungen hinsichtlich der Dateigröße hat
• Transformieren Sie die Tabelle in Pandas und schreiben Sie eine Parquet-Datei direkt auf das Volume wie spark.table(my_unity_catalog_table_path).toPandas().to_parquet('/Volumes/my_volume_name/my_table.parquet'), aber das hat auch nicht geklappt...
• Transformieren Sie die Tabelle in Pandas und schreiben Sie eine Parquet-Datei in den tmp-Ordner wie spark.table(my_unity_catalog_table_path).toPandas().to_parquet('/tmp/my_table.parquet') um es anschließend mit dbutils.fs.mv oder Shutil.move auf das Volume zu verschieben. Auch keine dieser Optionen hat funktioniert.

Wie kann das also gemacht werden?