Wie schreibe ich mit Polaren große Parkettdateien (20 GB+) in Stapel in Stapel? ⇐ Python

[Anonymous]

Ich habe den folgenden Polarscode, der eine Parquetdatei liest und sie in eine SQLite -Datenbank schreibt: < /p>
data = pl.scan_parquet(get_dataset_path()).collect()
_ = data.write_database(
table_name="my_table",
connection="sqlite:///my_data.db",
if_table_exists="replace",
)
< /code>
Dies funktioniert gut für kleinere Datensätze, aber im Umgang mit wirklich großen Parquetdateien (20 GB+) ist es kein Speicher. Verarbeiten Sie sie in Stapeln oder Streaming?
Vielen Dank im Voraus!