Ich möchte die Inferenz von Deepseek-V3-Modell mit der Umarmungs-Face-Transformator-Bibliothek (> = v4.51.0) ausführen.from transformers import pipeline
messages = [
{"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1", trust_remote_code=True)
pipe(messages)
< /code>
Mein Problem ist, dass ich das Deepseek-V3-Umarmungs-Repository bereits separat heruntergeladen habe, und ich möchte dem Transformator nur sagen, wo es sich auf meiner lokalen Maschine befindet, damit es die Schlussfolgerung ausführen kann. Beim Laden des Modells möchte ich den Pfad bereitstellen, der speziell auf das Repository des Modells auf der lokalen Maschine zeigt. < /P>
Wie kann ich das erreichen?>
Laden Sie das Deepseek-V3-Modell aus dem lokalen Repo ⇐ Python
-
- Similar Topics
- Replies
- Views
- Last post