Warum bleibt Milvus beim Erstellen von GPU-CAGRA-Indizes manchmal auf unbestimmte Zeit hängen? ⇐ Python

[Anonymous]

Beim Erstellen eines GPU-CAGRA-Index in Milvus 2.6.6 (Standalone-Modus) erlebe ich einen nicht deterministischen unendlichen Hang.
Hier ist mein Setup:

• Milvus-Version: 2.6.6
• Bereitstellung: Standalone
• SDK: pymilvus
• Betriebssystem: Ubuntu
• CPU / Speicher: 32 Kerne / 512 GB
• GPU: 4 × NVIDIA A100 (40 GB)
• Vektordimension: 2560
• Datensatzgröße: ~100.000 Vektoren

Das Verhalten ist inkonsistent:

• Mit dem gleichen Code und der gleichen Umgebung
• Manchmal wird der GPU-CAGRA-Index erfolgreich erstellt
• Manchmal bleibt er während der Indexerstellung auf unbestimmte Zeit hängen
• In den Protokollen werden keine Fehler oder Paniken angezeigt
• Der Milvus-Prozess bleibt aktiv, erzeugt aber keine neue Protokollausgabe mehr

Aus den Protokollen geht hervor, dass die Indexerstellung normalerweise um Folgendes stoppt:

Code: Select all

optimizing graph
Graph optimized, creating index
Saving CAGRA index with dataset

Im hängenden Fall erscheint diese Meldung einmal und dann passiert nichts mehr.
Ich habe überprüft, dass:

• Datenaufnahme ordnungsgemäß funktioniert
• FLAT-Indizes werden zuverlässig erstellt
• Das Problem tritt nur bei GPU-CAGRA-Indizes auf

Meine Hauptfrage lautet:

Was führt häufig zu nicht deterministischen unendlichen Hängen beim Erstellen von GPU-CAGRA-Indizes in Milvus 2.6.x, und hängt dies mit der GPU-Ressourcenbehandlung, Indexparametern oder bekannten Problemen in der GPU-CAGRA-Implementierung zusammen?