Wie man das Deepseek -Modell lokal läuft ⇐ Python

[Anonymous]

Ich versuche, Deepseek nach ihren Anweisungen vor Ort zu laufen, aber es funktioniert nicht mit einem dummen Fehler (ich werde es später zeigen).
Das mache ich. < /p>

• Laden Sie hier das kleinste Modell (3,5 GB) herunter https://huggingface.co/deepseek-ai/deep ... -qwen-1.5b
• Folgen Sie den Schritten von hier: https://github.com/deepseek-ai /Deepseek-V3? Tab = Readme-OV-File#6-how-to-Run-locally

2.1 Holen Sie sich dieses Projekt
https://github.com/deepseek-ai/deepseek-v3.git
2.2 Führen Sie den Docker-Container wie diesen mit vorgezogenem Volumen aus, um das Modell < /p>
zu setzen

Code: Select all

docker run --gpus all -it --name deepseek01 --rm --mount source=deepseekv3,target=/root/deepseekv3 python:3.10-slim bash

Ich benutze Python: 3.10-Slim, weil hier (https://github.com/deepseek-ai/deepseek ... 6-how-how- zu Runrun-lokal) Es wird nur mit Python 3.10
" linux geschrieben. Mac und Windows werden nicht unterstützt ."
2.3 Neueste Updates
APT-GET-Update
2.4 Erhalten Sie diese Datei https://github.com/deepseek-ai/deepseek-v3/blob/ Main/Inferenz/Anforderungen.txt und installieren Sie die Anforderungen

Code: Select all

pip install -r requirements.txt
< /code>
2.5 Kopieren Sie das Modell in das an den Docker -Container montierte Volumen. Diese 5 Dateien von hier https://huggingface.co/deepseek-ai/deepseek-r1-distill-qwen-1.5b
config.json
generation_config.json
model.safetensors
tokenizer.json
tokenizer_config.json

2.6 Konvertieren Sie das Modell, wie es hier geschrieben wurde Dieser Befehl < /p>

Code: Select all

python convert.py --hf-ckpt-path /root/deepseekv3/source_model --save-path /root/deepseekv3/converted_model --n-experts 256 --model-parallel 16
< /code>
In diesem Schritt (Konvertieren des Modells) Ich habe diesen Fehler < /p>
bekommenTraceback (most recent call last):
File "/root/deepseekv3/inference/convert.py", line 96, in 
main(args.hf_ckpt_path, args.save_path, args.n_experts, args.model_parallel)
File "/root/deepseekv3/inference/convert.py", line 63, in main
assert key in mapping
AssertionError

im Grunde genommen sind die nächsten Schritte nicht sinnvoll, da dies der wesentliche Schritt ist.
Meine Fragen:

Was mache ich falsch? Ist es wirklich erforderlich? Sollte ich in der Lage sein, es ohne es auszuführen, wie sie hier beschrieben https://github.com/deepseek-ai/deepseek ... un-locally?
< /ol>