Programmiererforum

Ich versuche, die Checkpoints für das Modell von Llama4Scout-Scout-17B-16E zu erhalten. Ich erhalte ständig den folgenden Fehler. "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tensorrt_llm/models/llama/model.py", line 505, in from_hugging_face
loader.generate_tllm_weights(model, arg_dict)
File "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tenorrt_llm/models/model_weights_loader.py", Zeile 402, in generate_tllm_weights
self.fill(tllm_wigghts)< wurden Dateibr/> Datei "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tenorrt_llm/models/model_weights_loader.py", Zeile 366, in fill
w_shape = Gewicht [tllm_key]. /> AttributeError: 'Nonetype' Objekt hat kein Attribut 'Form'
Auch der folgende Fehler
(trtllm-venv) root@xxxxxx:/ephemeral# python3 tensorrt-llm/example/models/core/llama/convert_checkpoint.py-model_dir $ $ UNIFIDE_CKPT_PATH--TP_SIZE 2 --PP_SIZE 1--moe_num_experts 16 ---moe_top_k 2 ---Dtype float16 /ephemeral/trtllm-venv/lib/python3.12/sit-packages/torch/.strong>.py: thestrong> thepyrg>.py:61: thestrong> Paket ist veraltet. Bitte installieren Sie stattdessen Nvidia-Ml-Py. Wenn Sie PYNVML nicht direkt installiert haben, melden Sie dies bitte an die Wartung des Pakets, das PYNVML für Sie installiert hat. Pynvml # Typ: Ignore [Import] [2025-09-16 18:57:09] Info config.py:54: Pytorch Version 2.7.1 Verfügbar. 2025-09-16 18: 57: 12,626-Info-FlashInfer.Jit: Vorgebaute Kerne nicht gefunden. JIT BACKEND/EPHEMELFREIL/TRTLLM-VENV/LIB/PYTHON3.12/SPACKELS/TORCH/UTILS/CPP_EXTERSION.PY. Sichtbare Karten sind zur Zusammenstellung enthalten. Wenn dies nicht erwünscht ist, setzen Sie bitte os.environ ['fackeln_cuda_arch_list']. warnings.warn( [TensorRT-LLM] TensorRT-LLM version: 0.21.0 0.21.0 [09/16/2025-18:57:12] [TRT-LLM] [W] Implicitly setting LLaMAConfig.has_partial_lora_mask = False [09/16/2025-18:57:12] [TRT-LLM] [W] Implicitly setting LLaMAConfig.tie_word_embeddings = False 7it [00:00, 79.03it/s] Traceback (most recent call last): File "/ephemeral/TensorRT-LLM/examples/models/core/llama/convert_checkpoint.py", line 591, in main() File "/ephemeral/TensorRT-LLM/examples/models/core/llama/convert_checkpoint.py", line 583, in main convert_and_save_hf(args) File "/ephemeral/TensorRT-LLM/examples/models/core/llama/convert_checkpoint.py", line 524, in convert_and_save_hf Execute (args.workers, [convert_and_save_rank] * World_Size, Args) Datei "/ephemeral/tenorrt-llm/examples/models/core/llama/convert_checkpoint.py", Zeile 531, in Execute F (Args, Rang) Datei) Datei "/ephemeral/tenorrt-llm/examples/models/core/llama/convert_checkpoint.py", Zeile 504, in convert_and_save_rank "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tenorrt_llm/models/llama/model.py", Zeile 505, in von_hugging_face loader.generate_tllm_wights (modell, arg_dict) Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei Datei. "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tenorrt_llm/models/model_weights_loader.py", Zeile 400, in generate_tllm_weights self.load (tllm_key, Datei, Datei "/ephemeral/trtllm-venv/lib/python3.12/site-packages/tenorrt_llm/models/model_weights_loader.py", Zeile 311, in Load v = sub_module.postProcess (tllm_key, v, ** postprozess_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ weights = weights.to(str_dtype_to_torch(self.dtype)) ^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'to'
with the following command as i am trying to work on the model parallelism
python3 TensorRT-LLM/examples/models/core/llama/convert_checkpoint.py ---model_dir $ hf_llama_model -output_dir arged_ckpt_path --TP_SIZE 2 --PP_SIZE 1 - -moe_num_experts 16 - -moe_top_k 2 - -dype float16
Plea -Plea. /> Ich habe versucht, die Tensorrt-LlM auf eine neue Version zu aktualisieren, aber das [url=viewtopic.php?t=26065]Problem[/url] ist gleich < /p>