Beim Konvertieren von avdl nach avsc treten Probleme beim Teilen von Schemata zwischen Schemata auf ⇐ Java

[Guest]

Wir haben ein großes Avro-Modell, das derzeit mit IDL (avdl) geschrieben wird. Wir erstellen eine shared.avdl-Datei mit freigegebenen Datensätzen und verwenden dann die Funktion „import idl“, um die Datensätze in andere Datensätze zu importieren. Wir konvertieren die Datei in eine AVSC-Datei und dann sieht es so aus, als ob jeder freigegebene Datensatz als eigener Datensatz in der AVSC-Datei neu erstellt wird.
In diesem Tutorial heißt es, einfach die vollständige Deklaration des gemeinsam genutzten Datensatzes zu verwenden;

Code: Select all

"type":"com.deepti.sample.avro.schema.Author"

.
Aber das ist nicht der Fall, wenn die avsc-Datei automatisch generiert wird.
Wie geht es denjenigen unter Ihnen, die ihr Avro-Modell auch mit avdl schreiben? Gemeinsame Datensätze definieren, die in anderen Datensätzen verwendet werden?
Ich kann hinzufügen, dass wir unsere Schemata über SchemaRegistry teilen und im Moment nur die Haupt-AVSC-Dateien hochladen, da sie alle gemeinsam genutzten Datensätze enthalten . Ich habe einige Vorschläge gesehen, die uns vorgeschlagen haben, das Modell in avsc zu schreiben, aber wenn ich richtig liege, müssen wir dann jeden freigegebenen Datensatz in SchemaRegistry hochladen und dann jeden Verbraucher dazu bringen, jedes einzelne freigegebene Schema zu lesen? Das scheint ein Rätsel zu sein ... Es muss einen besseren Weg geben?
Wir verwenden derzeit die folgenden Plugins, um die AVDL-Datei in eine AVSC-Datei zu konvertieren;

Code: Select all

com.github.davidmc24.gradle.plugin.avro

. Dadurch wird die Avdl in Avpr konvertiert und anschließend werden die Avpr-Dateien in Avsc konvertiert.
Mehrere Avro-Datensätze desselben Typs in einem einzelnen Schema:
In diesem Beitrag geht es um die Verwendung von dasselbe Schema mehrmals im selben Datensatz. Ich möchte dasselbe Schema in verschiedenen Datensätzen verwenden.