'sloth/llava-v1.6-MISTRAL-7B-HF' Modell Inferenz RunTimeError: Unloth: Fehlgeschlagen, um Eingänge zu erfordern

Wenn ich „unsloth“ verwende und versuche, das Modell als gguf zu speichern, erhalte ich die folgende Fehlermeldung:
1053 check = os.system( rm -rf llama.cpp/build )
1054 if check != 0: raise...

Ich setze ein Fastapi-Backend mit umarmenden Gesichtstransformatoren mit dem Mistralai/Mistral-7b-Instruct-V0.1-Modell ein, das mit BitsandByTesconfig nach 4-Bit quantisiert wurde. Ich leite dies in...

Die MISTRAL-Dokumentation gibt an, dass Textdateien (.txt) akzeptiert werden, ebenso wie PDF und DOCX und andere. Tatsächlich kann mit der CHAT-Funktion eine Textdatei gesendet werden, bevor eine...

In der Dokumentation von Mistral heißt es, dass die API Textdateien (.txt) sowie PDFs, DOCX und andere akzeptiert. Mit der Mistral-API „Dateien“ kann ich mit dem folgenden Code ganz einfach eine...

Ich verwende ONNX, um ein in Python trainiertes Modell zu exportieren und in C# auszuführen.
Alles funktioniert ziemlich gut, aber ich möchte die Inferenz beschleunigen auf der C#-Seite mithilfe von...