Wie kann ich eine QA-Langchain mit load_qa_with_sources_chain beschleunigen? ⇐ Python

[Anonymous]

Ich verwende derzeit ein QA-Modell mit load_qa_with_sources_chain(). Wenn ich es jedoch mit drei Blöcken von jeweils bis zu 10.000 Token ausführe, dauert es etwa 35 Sekunden, bis eine Antwort zurückgegeben wird. Ich würde das gerne beschleunigen.
Kann jemand erklären, was die Geschwindigkeit der Funktion beeinflusst und ob es eine Möglichkeit gibt, die Ausgabezeit zu verkürzen? Wenn das nicht möglich ist, welche anderen Änderungen könnten Sie vornehmen, um die Qualitätssicherung mit Quellen zu beschleunigen?
Ich habe versucht, die Größe der Textblöcke zu ändern, aber das hatte keine nennenswerten Auswirkungen. Ich verwende die Map_reduce-Kette. Ich verwende Python3.10.