Programmiererforum

 ValueError: `.to` is not supported for `4-bit` or `8-bit` bitsandbytes models. Please use the model as it is...< /code> < /p>
Was ich bisher getan habe:
-Ich rufe nicht an (...) überall-explizit alle solchen Zeilen entfernt. Device_map = "auto" gemäß den Transformatoren github problem✅ < /p>
< /li>
[*]  Ich nenne .cuda () Nur einmal auf dem Modell nach .from_pretrained (...), wie vorgeschlagen, dass ✅ < /p> < /> < /> < /la>
  model und token -model und token mit harming mithb />         
 -Schuls und ToKenizer mit HUGGUGGE -SETH -SAKGUS MIT HUB -SETH MOBLE MIT HUB -SETH MIT HUBE MOBLE MOBLE MOBEL MIT HUBE -MODEL. ✅

[*]  Das System erkennt Cuda richtig: Torch.cuda.is_available () ist wahr ✅ 

   und letztes löste ich das umarme Gesichtsgesichts-Cache (~/.Cache/. />  Hier ist der relevante Teil des Codes, der den Fehler auslöst: < /p>
    "mistralai/Mistral-7B-Instruct-v0.1",
quantization_config=quant_config,
device_map=None,  # I explicitly removed this
token=hf_token
).cuda()  # This is the only use of `.cuda()`

tokenizer = AutoTokenizer.from_pretrained(model_name, token=hf_token)```

Yet I still get the same ValueError. Thank you in advance.

Ich setze ein Fastapi-Backend mit umarmenden Gesichtstransformatoren mit dem Mistralai/Mistral-7b-Instruct-V0.1-Modell ein, das mit BitsandByTesconfig nach 4-Bit quantisiert wurde. Ich leite dies in einem NVIDIA -GPU -Container (CUDA 12.1, A10G GPU mit 22 GB VRAM) aus, und ich drücke diesen Fehler während des Modells des Modells immer wieder: < /p>
[code] ValueError: `.to` is not supported for `4-bit` or `8-bit` bitsandbytes models. Please use the model as it is...< /code> < /p>
Was ich bisher getan habe:
-Ich rufe nicht an (...) überall-explizit alle solchen Zeilen entfernt. Device_map = "auto" gemäß den Transformatoren github problem✅ < /p>
< /li>
[*] Ich nenne .cuda () Nur einmal auf dem Modell nach .from_pretrained (...), wie vorgeschlagen, dass ✅ < /p> < /> < /> < /la>
model und token -model und token mit harming mithb />
-Schuls und ToKenizer mit HUGGUGGE -SETH -SAKGUS MIT HUB -SETH MOBLE MIT HUB -SETH MIT HUBE MOBLE MOBLE MOBEL MIT HUBE -MODEL. ✅

[*] Das System erkennt Cuda richtig: Torch.cuda.is_available () ist wahr ✅

und letztes löste ich das umarme Gesichtsgesichts-Cache (~/.Cache/. /> Hier ist der relevante Teil des Codes, der den Fehler auslöst: < /p>
"mistralai/Mistral-7B-Instruct-v0.1",
quantization_config=quant_config,
device_map=None, # I explicitly removed this
token=hf_token
).cuda() # This is the only use of `.cuda()`

tokenizer = AutoTokenizer.from_pretrained(model_name, token=hf_token)```

Yet I still get the same ValueError. Thank you in advance.
[/code]