Anhänge an Delta -Tabellen im Stoff mit Spark VS ohne Spark ⇐ Python

[Anonymous]

Ich bin neu im Stoff und habe ein paar Udemy -Kurse durchgeführt. Ich bin mir jedoch nicht sicher, wie ich dieses Problem angehen soll. Die Transformationen sind kleine, umgebende Spalten umzubenennen und einige leere Werte durch Null zu ersetzen. Die Verwendung von Spark ist aufgrund der Verwendung mehrerer Knoten ineffizient und kann stattdessen nur mit einem einzelnen Knoten -Python -Notizbuch mit Pandas/Polars erfolgen. Es scheint, als wäre Delta aus Spark aufgebaut, so dass es am sinnvollsten ist, ihn zu lesen und in Delta -Tabellen zu schreiben. Aber viele Leute empfehlen es, es nicht für einfachere Jobs zu verwenden. Oder gibt es einen anderen Weg?