Schnelle Verwaltung der Speicherung in Git vs. db ⇐ Python

[Anonymous]

Wir erstellen eine LLM-basierte Anwendung, die viele Benutzerdaten aus verschiedenen internen Quellen übernimmt und die Daten an verschiedene Eingabeaufforderungen sendet, die die Antworten liefern, die zum korrekten Ausfüllen von Formularen erforderlich sind.
Früher war das System einfacher, wobei eine einzige LLM-Eingabeaufforderung eine Frage beantwortete. Die Eingabeaufforderungen wurden in einer Datenbank gespeichert, sodass mit der Eingabeaufforderung verbundene Kennzahlen aufgezeichnet und für zukünftige Verbesserungen verwendet werden konnten. Die Ausgaben der Eingabeaufforderung waren einheitlich, sodass Eingabeaufforderungsingenieure die Eingabeaufforderungen modifizieren und neue, verbesserte Eingabeaufforderungen normalerweise ohne Codeänderungen veröffentlichen konnten.
Während wir voranschreiten und sich die Fähigkeiten von LLMs geändert haben, stellen wir fest, dass eine komplexe Kette von Eingabeaufforderungen mit verschiedenen zugehörigen Schemata für jede Eingabeaufforderung bessere Ergebnisse für die gestellten Endfragen liefert. Bei den Eingabeaufforderungsketten kann es sich um einfache Feeds von einer Seite zur anderen oder um bedingte Eingaben handeln, bei denen basierend auf der Ausgabe unterschiedliche Eingabeaufforderungen aufgerufen werden können.
Dieser Ansatz erfordert ein komplexeres Eingabeaufforderungsverwaltungssystem und die Frage ist, ob Eingabeaufforderungen in Git oder der Datenbank gespeichert werden sollen.
Wenn wir in Git speichern, können Änderungen an den Eingabeaufforderungsketten und der Logik einfach gehandhabt und neue Arten von Eingabeaufforderungsketten/-abläufen bei Bedarf einfach implementiert werden. Wir verlieren jedoch die Möglichkeit, schnelle Aktualisierungen von Eingabeaufforderungen ohne Codeaktualisierungen zu ermöglichen, und das Verfolgen von Metriken und der Vergleich von Auswertungen zweier verschiedener Eingabeaufforderungen ist komplizierter, wenn sie auf eine bestimmte Codeversion/Git-Commit zurückgeführt werden müssen.
Auf der anderen Seite kann es komplex sein, mehrere Eingabeaufforderungen zu speichern, die in einer Kette in der Datenbank zusammenpassen, und eine Codebasis zu erstellen, die robust genug ist, um Aktualisierungen all dieser verschiedenen Arten von Ketten zu ermöglichen.
Was wäre der empfohlene Ansatz und der meiste? effiziente Architektur?