Ich habe einen WCF -Webdienst, der ein generatives Modell mit dem OpenAI C# -Client aufruft. Ich möchte diese Antwort auf den WCF -Client streamen. Mein aktueller Übertragungsmodus wird mit einem Schrank von 1 Sekunde auf "gestreamt" eingestellt. Eine vereinfachte Version des Code, den der Dienst derzeit ausführtvar collectionResult = openAiClient.CompleteChatStreaming(new[] { userMsg }, options: modelOptions);
var stream = new MemoryStream();
var sw = new StreamWriter(stream)
{
AutoFlush = true
};
Task.Run(async () =>
{
foreach (var col in collectionResult)
foreach (var data in col.ContentUpdate)
sw.Write(data.Text);
});
stream.Position = 0;
return stream;
< /code>
Wenn ich dies debuggierte, sehe ich, dass vor Beginn der äußeren Schleife die Verbindung geschlossen ist und ich nicht herausfinden kann, warum. Dies handeltusing (var sr = new StreamReader(stream))
{
var data = "";
while ((data = await sr.ReadLineAsync()) != null)
{
Console.WriteLine(data);
}
}
< /code>
Gibt es überhaupt eine Möglichkeit, diese Art von Streaming -Antwort in WCF zu erreichen, bei dem der Server eine Art Mittelsmann zwischen den Daten und dem Streaming von Daten ist? Wie würde es richtig implementiert werden? Der Kunde muss in der Lage sein, die Modellausgabe so zu sehen, als würde er mit einem normalen Chatbot chatten. Daher kann ich es kaum erwarten, dass die gesamte Antwort vor dem Antworten generiert wird.
Ich habe einen WCF -Webdienst, der ein generatives Modell mit dem OpenAI C# -Client aufruft. Ich möchte diese Antwort auf den WCF -Client streamen. Mein aktueller Übertragungsmodus wird mit einem Schrank von 1 Sekunde auf "gestreamt" eingestellt. Eine vereinfachte Version des Code, den der Dienst derzeit ausführtvar collectionResult = openAiClient.CompleteChatStreaming(new[] { userMsg }, options: modelOptions); var stream = new MemoryStream(); var sw = new StreamWriter(stream) { AutoFlush = true };
Task.Run(async () => { foreach (var col in collectionResult) foreach (var data in col.ContentUpdate) sw.Write(data.Text); }); stream.Position = 0; return stream; < /code> Wenn ich dies debuggierte, sehe ich, dass vor Beginn der äußeren Schleife die Verbindung geschlossen ist und ich nicht herausfinden kann, warum. Dies handeltusing (var sr = new StreamReader(stream)) { var data = ""; while ((data = await sr.ReadLineAsync()) != null) { Console.WriteLine(data); } } < /code> Gibt es überhaupt eine Möglichkeit, diese Art von Streaming -Antwort in WCF zu erreichen, bei dem der Server eine Art Mittelsmann zwischen den Daten und dem Streaming von Daten ist? Wie würde es richtig implementiert werden? Der Kunde muss in der Lage sein, die Modellausgabe so zu sehen, als würde er mit einem normalen Chatbot chatten. Daher kann ich es kaum erwarten, dass die gesamte Antwort vor dem Antworten generiert wird.
Ich habe einen Windows-Dienst, der einen WCF-Dienst auf einem Computer in meinem Netzwerk hostet. Ich habe einen Client, der versucht, eine Verbindung zu einem anderen Computer im Netzwerk...
Ich habe einen Endpunkt, der Fastapi StreamingResponse zurückgibt:
async def stream_results():
...
async for _output in result_generator:
...
yield (json.dumps({'Field': value}, ensure_ascii=False))...
Ich möchte große Antworten der Solr -Streaming -API in Polare (Python) effizient laden. Die Solr -Streaming -API gibt JSON der folgenden Form zurück:
{
result-set :{
docs : }}
Ich erstelle Lappen mit Azure -Technologien. Dazu muss ich Inhalte so streamen, um Frontend zum Schnell Ergebnis zu stream. Andernfalls dauert es lange, bis sie antwortet.
public IEnumerable...