Laden Sie das Deepseek-V3-Modell aus dem lokalen RepoPython

Python-Programme
Anonymous
 Laden Sie das Deepseek-V3-Modell aus dem lokalen Repo

Post by Anonymous »

Ich möchte die Inferenz von Deepseek-V3-Modell mit der Umarmungs-Face-Transformator-Bibliothek (> = v4.51.0) ausführen.from transformers import pipeline

messages = [
{"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1", trust_remote_code=True)
pipe(messages)
< /code>
Mein Problem ist, dass ich das Deepseek-V3-Umarmungs-Repository bereits separat heruntergeladen habe, und ich möchte dem Transformator nur sagen, wo es sich auf meiner lokalen Maschine befindet, damit es die Schlussfolgerung ausführen kann. Beim Laden des Modells möchte ich den Pfad bereitstellen, der speziell auf das Repository des Modells auf der lokalen Maschine zeigt. < /P>
Wie kann ich das erreichen?>

Quick Reply

Change Text Case: 
   
  • Similar Topics
    Replies
    Views
    Last post