Gibt es eine Möglichkeit, einen LLM mit einer Reihe von Anweisungen zu initialisieren und dieses Modell mit dieser anfän ⇐ Python

[Anonymous]

In einem Projekt, an dem ich gerade arbeite, habe ich eine Informationsextraktionsaufgabe mit einem LLM, für das eine große Reihe von Anweisungen erforderlich sind. Diese Anweisungen enthält ein Objektschema (und ein Schema der Komponenten dieses Objekts), Beispiele für Eingabe/Ausgabe für dieses Objekt (und seine Komponente), die mit der Bibliothek COR in Python erstellt wurden. Dieser Anweisungssatz ist groß, ungefähr 5000 Token ohne Eingabe. Ich verwende derzeit ein Modell, das auf Azure-ai-Foundry eingesetzt wird, aber das Problem ist, dass jedes Mal, wenn das Modell aufgerufen wird, es den vollständigen Anweisungssatz geben muss, wodurch ein zusätzlicher 5-km-Token mit jedem Anruf verbraucht wird. Ich möchte vermeiden, diese Anweisungen jederzeit zu senden, wenn ich diese Aufgabe erledigen möchte. Jeder Aufruf dieser Funktion ist unabhängig von einem früheren oder zukünftigen Anruf. Daher ist es eine mögliche Lösung, 5-10 Gespräche offen zu halten und sie an eine verfügbare Gesprächs zu senden, die jedoch möglicherweise ein Problem mit dem Kontextfenster und den ersten Anweisungen erzeugt hat. .