Konvertieren Sie den PYSPARK -Datenfreame in Pandas DataFrame fehl ⇐ Python

[Anonymous]

Ich erstelle meinen PYSPARK -Datenframe: < /p>

Code: Select all

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, BinaryType, ArrayType, StringType, TimestampType
input_schema = StructType([
StructField("key", StringType()),
StructField("headers", ArrayType(
StructType([
StructField("key", StringType()),
StructField("value", StringType())
])
)),
StructField("timestamp", TimestampType())
])

input_data = [
("key1", [{"key": "header1", "value": "value1"}], datetime(2023, 1, 1, 0, 0, 0)),
("key2", [{"key": "header2", "value": "value2"}], datetime(2023, 1, 1, 0, 0, 0)),
("key3", [{"key": "header3", "value": "value3"}], datetime(2023, 1, 1, 0, 0, 0))
]

df = spark.createDataFrame(input_data, input_schema)

Ich möchte pandas 'assert_frame_equal () verwenden, daher möchte ich meinen Datenframe in einen PANDAS -Datenfream konvertieren.

Code: Select all

df.toPandas()

wird typeerror: Das Gießen auf dype 'datetime64' von Einheiten ohne Einheit wird nicht unterstützt. Pass z.B. 'DateTime64 [NS]' stattdessen. Ich muss sie bis 2023-01-01 00:00:00 und nicht 2023-01-01 .