Aktivieren Sie die Delta -Tabelle prüft, wenn Sie Polars write_delta verwenden () ⇐ Python

[Anonymous]

Ich verwende polars.df.write_delta () über ein Stoff-Python-Notebook, um anfänglich Delta-Tabellen in Microsoft Fabric Onelake-Speicher zu erstellen und anzugreifen.

Code: Select all

ErrorCode: DeltaTableNotCheckpointed
Message: Delta table 'SomeTableName' has atleast '100' transaction logs, but no checkpoints. For performance reasons, it is recommended to regularly checkpoint the delta table more frequently than every '100' transactions. As a workaround, please use SQL or Spark to retrieve table schema.
< /code>
Ich habe hier über Delta Lake Checkpoints gelesen. Mein Verständnis ist, dass die Spezifikation nicht die Erstellung von Checkpoints ermöglicht, wenn sie dies wünschen. /> < /blockquote>
Für eine beispielhafte betroffene Tabelle in meiner Umgebung wird diese Konfigurationseinstellung nicht definiert. Ich habe diesen Befehl ausgeführt: < /p>
deltalake.DeltaTable(my_abfss_path).metadata().configuration
< /code>
Und das Ergebnis war nur: < /p>
{'delta.parquet.vorder.enabled': 'true'}
< /code>
Dies erklärt also wahrscheinlich, warum ich unmittelbar keine Kontrollpunkte habe.  Wie auch immer < /strong>, ich bin nicht klar, wo die Verantwortung für die Definition dieser Konfigurationseinstellung liegt. Wurde von Polaren als Teil der internen Implementierung von write_delta () 

?
[*] MUSS MY CLESSE -CODE beim Aufrufen von write_delta () festgelegt? Wenn ja, wie genau? Würde das über den Parameter Delta_Write_Options erfolgen? Ich kann nichts finden, was dies nirgendwo bestätigt.