Ich arbeite mit einer Klasse namens CachedrandomiterDataset, die einen asynchronen Thread verwendet, um Daten aus einem Datensatz in einen Cache zu laden. Der Cache soll mit Daten gefüllt, gemischt...
Ich habe ein Szenario, in dem ich zwei parallele Anfragen senden muss, in denen sie eine kombinierte Auszeit von 2 Sekunden haben sollten. Wenn jedoch eine der Anfragen ausfällt, möchte ich das...
Ich verwende Langchain, um ein LLM aufzurufen, und ich möchte die Logprobs für jedes Token erhalten.
Ich möchte sie erhalten, nachdem ich Folgendes getan habe:
from langchain_openai import...