Der Kafka + Client wurde heruntergefahren, bevor die Antwort gelesen wurde ⇐ Linux

[Guest]

Wir verfügen über einen Cluster von 13 Produktions-Kafka-Brokern mit einem Replikationsfaktor von 3 für alle Themen. In den letzten Wochen hatte ich ein Problem, das mehrmals am Tag plötzlich auftritt.
Alle Kafka-Broker führen die neueste Kafka-Version 3.6.x aus und alle Broker verwenden Kafka Kraft.
Hier ist ein Beispiel für die typische Ausnahme (von server.log)

Code: Select all

[2025-01-12 02:54:08.008] INFO [ReplicaFetcher replicaId=1003, leaderId=1001, fetcherId=17] Error sending fetch request (sessionId=1005919175, epoch=4857668) to node 1001: (org.apache.kafka.clients.FetchSessionHandler)
java.io.IOException: Client was shutdown before response was read
at org.apache.kafka.clients.NetworkClientUtils.sendAndReceive(NetworkClientUtils.java:108)
at kafka.server.BrokerBlockingSender.sendRequest(BrokerBlockingSender.scala:113)
at kafka.server.RemoteLeaderEndPoint.fetch(RemoteLeaderEndPoint.scala:79)
at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:316)
at kafka.server.AbstractFetcherThread.$anonfun$maybeFetch$3(AbstractFetcherThread.scala:130)
at kafka.server.AbstractFetcherThread.$anonfun$maybeFetch$3$adapted(AbstractFetcherThread.scala:129)
at scala.Option.foreach(Option.scala:437)
at kafka.server.AbstractFetcherThread.maybeFetch(AbstractFetcherThread.scala:129)
at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:112)
at kafka.server.ReplicaFetcherThread.doWork(ReplicaFetcherThread.scala:98)
at org.apache.kafka.server.util.ShutdownableThread.run(ShutdownableThread.java:130)
[2025-01-12 02:54:08.008] INFO [ReplicaFetcherThread-17-1001]: Stopped (kafka.server.ReplicaFetcherThread)
[2025-01-12 02:54:08.008] INFO [ReplicaFetcherThread-17-1001]: Shutdown completed (kafka.server.ReplicaFetcherThread)

Nach meinem Verständnis können wir die oben genannten Fehler als „java.io.IOException: Client wurde heruntergefahren, bevor die Antwort gelesen wurde“ sehen. weist normalerweise darauf hin, dass der Kafka-Client zuvor heruntergefahren wurde könnte eine Antwort vom Server erhalten. Dies kann mehrere Gründe haben:
Wir haben also die folgenden Punkte 1-3 bei allen Brokern überprüft und können klar und eindeutig erkennen, dass die folgenden Punkte 1-3 nicht Teil des Problems sind< /p>

• Alle Kafka-Dienste sind stabil
• Keine langsamen Festplatten und keine hohe Festplattenauslastung
  < li>Kafka-Java-Heap-Größe ist in Ordnung (wir haben 12G aktiviert). Kafka-Heap-Größe)

Kann ich einen Rat bekommen, um zu verstehen, was die Grundursache der Ausnahme sein könnte?

Code: Select all

[2025-01-12 02:54:08.008] INFO [ReplicaFetcher replicaId=1003, leaderId=1001, fetcherId=17] Error sending fetch request (sessionId=1005919175, epoch=4857668) to node 1001: (org.apache.kafka.clients.FetchSessionHandler)
java.io.IOException: Client was shutdown before response was read