KAFKA -Leistungsproblem - Java Spring Stiefel
Posted: 06 May 2025, 11:09
Ich arbeite derzeit an einem Projekt mit Java Spring Boot mit Apache Kafka. Wir haben mehrere Microservices, die über Kafka kommunizieren, und unser System ist so konzipiert, dass es rund 100.000 Ereignisse (Protokolle) pro Sekunde (EPS) verarbeitet, und jede Paketgröße beträgt rund 3 kb. Ich habe mehrere Kafka- und Spring -Boot -Konfigurationsoptimierungen ausprobiert, aber das Problem bleibt weiterhin bestehen. Aber wenn ich den Kafka -Produzentencode kommentiere, wird die Verarbeitung sehr schnell. Ich hoffe wirklich, dass ich mit der Anleitung der Community an dieser Straßensperre vorbeikommen kann. < /P>
Danke!
Danke!
Code: Select all
KafkaProducerConfig.java
Bean(name = "packetData")
public KafkaProducer packetDataKafkaProducer() {
Map config = new HashMap();
config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaURLConfiguration.getKafkaURL());
config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
config.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, 600000);
config.put(ProducerConfig.BATCH_SIZE_CONFIG, 200000);
config.put(ProducerConfig.LINGER_MS_CONFIG, 10);
config.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, COMPRESSION_TYPE);
return new KafkaProducer(config, new StringSerializer(), new JsonSerializer());
}
ProducerService.java
ProducerRecord records = new ProducerRecord(driver.getCollectionTopic(), packetData);
kafkaProducer.send(records);