Ich habe ein Problem, bei dem der Speicherverbrauch meines Python -Skripts während der wiederholten Verarbeitung von Parquetendateien mithilfe von Pyarrow kontinuierlich zunimmt - auch nach...
Ich habe den folgenden Polars-Code, der eine Parquet-Datei liest und in eine SQLite-Datenbank schreibt:
data = pl.scan_parquet(get_dataset_path()).collect()
_ = data.write_database(
table_name=...
Ich werde auf Fehler geraten, während ich versuche, den PYSPark -Datenrahmen in der Parquetdatei zu speichern. Das Verzeichnis befindet sich am externen Volumen, an dem der an den Arbeitsbereich, an...