KAFKA -Leistungsproblem - Java Spring Stiefel ⇐ Java

[Anonymous]

Ich arbeite derzeit an einem Projekt mit Java Spring Boot mit Apache Kafka. Wir haben mehrere Microservices, die über Kafka kommunizieren, und unser System ist so konzipiert, dass es rund 100.000 Ereignisse (Protokolle) pro Sekunde (EPS) verarbeitet, und jede Paketgröße beträgt rund 3 kb. Ich habe mehrere Kafka- und Spring -Boot -Konfigurationsoptimierungen ausprobiert, aber das Problem bleibt weiterhin bestehen. Aber wenn ich den Kafka -Produzentencode kommentiere, wird die Verarbeitung sehr schnell. Ich hoffe wirklich, dass ich mit der Anleitung der Community an dieser Straßensperre vorbeikommen kann. < /P>
Danke!

Code: Select all

KafkaProducerConfig.java

Bean(name = "packetData")
public KafkaProducer packetDataKafkaProducer() {
Map config = new HashMap();
config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaURLConfiguration.getKafkaURL());
config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
config.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, 600000);
config.put(ProducerConfig.BATCH_SIZE_CONFIG, 200000);
config.put(ProducerConfig.LINGER_MS_CONFIG, 10);
config.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, COMPRESSION_TYPE);
return new KafkaProducer(config, new StringSerializer(), new JsonSerializer());
}

ProducerService.java

ProducerRecord records = new ProducerRecord(driver.getCollectionTopic(), packetData);
kafkaProducer.send(records);