PySpark-Fehler beim Schreiben in BigQuery: Verursacht durch: java.lang.NoSuchMethodError: com.google.common.base.Precond ⇐ Java

[Guest]

Heyyy, ich kann mit Pyspark problemlos aus BigQuery lesen, aber das Schreiben scheint unmöglich, da dieser Fehler ständig auftritt:

Code: Select all

Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;JJ)V

Ich verwende die neuesten Gläser:

Code: Select all

spark.jars.packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.41.1,\
com.google.cloud.bigdataoss:gcs-connector:hadoop3-2.2.26

Oder bei einigen zusätzlichen Paketen könnte das das Problem sein, wie ich bei Stackoverflow gefunden habe, aber es funktioniert immer noch nicht:

Code: Select all

spark.jars.packages org.apache.hadoop:hadoop-aws:3.2.0,\
io.grpc:grpc-protobuf:1.69.0,\
io.grpc:grpc-stub:1.69.0,\
com.google.inject:guice:7.0.0,\
com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.41.1,\
com.google.cloud.bigdataoss:gcs-connector:hadoop3-2.2.26

Haben Sie eine Idee, was los ist oder welches Paket nicht kompatibel ist?

Ich habe auch diese Pyspark-Versionen ausprobiert und sie geben alle den gleichen Fehler aus:< /p>

Code: Select all

3.1.3
3.3.3
3.5.1

Java-Version ist Java 11.0.23 2024-04-16 LTS