Databricks – Warum erhalte ich bei der Verwendung von .display() die Fehlermeldung „Cast ungültige Eingabe“? ⇐ Python

[Anonymous]

Ich habe einen Spark-Datenrahmen, der über spark.sql definiert ist. Es besteht aus einer einzelnen Spalte im String-Format mit 28750 Werten. Die Werte sind alle 10 Ziffern lang. Ich möchte mir die Daten wie folgt ansehen:

Code: Select all

my_dataframe.display()

Dies gibt jedoch den folgenden Fehler zurück:

[CAST_INVALID_INPUT] Der Wert „UNKNOWN“ vom Typ „STRING“ kann nicht
in „BIGINT“ umgewandelt werden, da er fehlerhaft ist.

Ich erhalte auch die gleiche Fehlermeldung:

Code: Select all

my_dataframe.count()

Ich verstehe, dass „UNKNOWN“ nicht als Bigint umgewandelt werden kann, weil es keine Zahl ist. Aber ich habe die SQL ausgeführt, die den Datenrahmen erstellt, und die Ergebnisse enthalten nicht „UNKNOWN“. Deshalb habe ich ein paar Fragen:

• Warum geht Databricks davon aus, dass mein Datenrahmen die Zeichenfolge „UNBEKANNT“ enthält?
• Warum wandelt die Anzeigefunktion meine Daten überhaupt in Bigint um?
• Wie kann ich das beheben?

Ich bin ziemlich verwirrt, daher bin ich über alles dankbar, was mir hilft, zu verstehen, was vor sich geht!