Ich studiere den Prozess der Verteilung künstlicher Intelligenzmodule über Fastapi. Br /> In diesem Fall ist es für einen Benutzer kein Problem, es zu verwenden, aber wenn mehrere Benutzer gleichzeitig verwendet werden, kann die Antwort zu langsam sein. < /p>
Wenn mehrere Benutzer eine Frage eingeben, gibt es eine Möglichkeit, das Modell zu kopieren und gleichzeitig zu laden?
Ich studiere den Prozess der Verteilung künstlicher Intelligenzmodule über Fastapi. Br /> In diesem Fall ist es für einen Benutzer kein Problem, es zu verwenden, aber wenn mehrere Benutzer gleichzeitig verwendet werden, kann die Antwort zu langsam sein. < /p> Wenn mehrere Benutzer eine Frage eingeben, gibt es eine Möglichkeit, das Modell zu kopieren und gleichzeitig zu laden?[code]class sentencebert_ai(): def __init__(self) -> None: super().__init__()
for idx in top_results[0:topN]: ask_result.append(corpusid[idx].item()) #.item()으로 접근하는 이유는 tensor(5)에서 해당 숫자에 접근하기 위한 방식이다. score.append(round(cos_scores[idx].item(),3))
#서버에 json array 형태로 내보내기 위한 작업 for i,e in zip(ask_result,score): result_value.append({"pred_id":i,"pred_weight":e}) endd = time.time() print('시간체크',endd-startt) return result_value # return ','.join(str(e) for e in ask_result),','.join(str(e) for e in score)
class Item_inference(BaseModel): text : str topN : Optional[int] = 1
Ich untersuche den Prozess der Verteilung von Modulen für künstliche Intelligenz über FastAPI.
Ich habe eine FastAPI-App erstellt, die Fragen mithilfe eines vorab erlernten Modells für maschinelles...
Ich habe einen API-Endpunkt (FastAPI / Uvicorn). Unter anderem stellt es eine Informationsanfrage an eine weitere API. Wenn ich meine API mit mehreren gleichzeitigen Anfragen lade, erhalte ich die...
Ich habe eine FastAPI-Anwendung für Test-/Entwicklungszwecke. Ich möchte, dass jede Anfrage, die bei meiner App eintrifft, automatisch so wie sie ist an eine andere App auf einem anderen Server...