Parkettdateien mit Polaren können nicht gelesen werden, während Pyarrow dies kann ⇐ Python

[Anonymous]

Ich erhalte eine dtype-Ausnahme

Code: Select all

pyo3_runtime.PanicException: Arrow datatype Map(Field { name: "key_value", dtype: LargeList(Field { name: "key_value", dtype: Struct([Field { name: "key", dtype: Utf8View, is_nullable: false, metadata: None }, Field { name: "value", dtype: Int64, is_nullable: true, metadata: None }]), is_nullable: true, metadata: None }), is_nullable: true, metadata: None }, false) not supported by Polars. You probably need to activate that data-type feature.

Ich kann es lesen, wenn ich use_pyarrow=True setze, aber ich muss den Lazy-Modus verwenden.
Ich habe viele Dateien, also bestand mein Workaround darin, jede Datei im Eager-Modus mit der Pyarrow-Engine zu lesen und sie erneut zu speichern.
Ich habe versucht, den Pyarrow-Datensatz zu verwenden und scan_pyarrow_dataset hatte aber keinen Erfolg.
Jede Hilfe wird geschätzt