Laufen Deepseek-V3-Inferenz ohne GPU (nur auf CPU) ⇐ Python

[Anonymous]

Ich versuche, das Deepseek-V3-Modellinferenz auf einem Remote-Maschine (SSH) auszuführen. Diese Maschine hat keine GPU, aber viele CPU-Kerne. -Config configs /config_671b.json ---interactive-Temperature 0.7--Max-New-Tokens 200 < /p>
< /blockquote>
Dies erzeugte die folgende Fehlermeldung: < /p>

RunTimeError: Found kein Nvidia-Treiber auf Ihrem System. Bitte überprüfen Sie, dass
Sie eine Nvidia-GPU haben und einen Treiber von
http://www.nvidia.com/download/index.aspx

2ND-Methode/

TRANSFORMERS/quantizer/quantizer_FineGraaind_fp8.py, Zeile 51, in
validate_environment runTimeRor ("Keine GPU gefunden. a gpu gefunden. a gpu gefunden. a gpu gefunden. a gpu found. a gpu found. a gpu found. a gpu gefunden. a GPU gefunden. a gpu found. a gpu gefunden. a GPU gefunden. a gpu found. a gpu gefunden. a gpu found. a gpu found. a gpu found. Quantisierung. "). dass ich es nicht wissen würde)?