Warum führt der von Huggingface vorbereitete Deek-Code zu einem Fehler "Unbekannter Quantisierungstyp"? ⇐ Python

[Anonymous]

Ich verwende diesen Code von Huggingface: < /p>
Dieser Code wird direkt von der Seite der Huggingface-Website auf Deepseek eingefügt und soll Plug-and-Play-Code sein: < /p>

Code: Select all

from transformers import pipeline

messages = [
{"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1", >trust_remote_code=True)
pipe(messages)
< /code>
< /blockquote>
Aber ich kann das Modell nicht laden. Wenn ich das tue, bekomme ich dieses Problem: < /p>
File "/site-packages/transformers/quantizers/auto.py", line 97, in from_dict

raise ValueError(

ValueError: Unknown quantization type, got fp8 - supported types are:
['awq', 'bitsandbytes_4bit', 'bitsandbytes_8bit', 'gptq', 'aqlm', 'quanto', 'eetq',
'hqq', 'compressed-tensors', 'fbgemm_fp8', 'torchao', 'bitnet']
< /code>
Ich habe verschiedene Code ausprobiert: < /p>
import torch
generate_text = pipeline(model="deepseek-ai/DeepSeek-R1",torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
generate_text(messages)

This gives the following error:

raise ValueError( ValueError: Unknown quantization type, got fp8 - supported types are: ['awq', 'bitsandbytes_4bit', 'bitsandbytes_8bit', 'gptq', 'aqlm', 'quanto', 'eetq', 'Higgs', 'Hqq', 'komprimierte Tensoren', 'fbgemm_fp8', 'tolchao', 'bitnet', 'vptq']

Was kann ich tun?