resultiert jedoch zu einem Speicher Problem beim Laden des Basismodells. kann Multi -GPU zur Finetuning verwenden?. Wenn ja, welche Konfigurationsänderung ist erforderlich.
Ich versuche, Lama3.1 [b] 8B [/b] zu finanzieren. Ich verwende 4 A10g GPU mit jeweils 24 GB.[code]from accelerate import PartialState device_string = PartialState().process_index
trainer = SFTTrainer( model=model, train_dataset=dataset["train"], eval_dataset=dataset["test"], peft_config=peft_config, # max_seq_length=512, # dataset_text_field="text", tokenizer=tokenizer, args=training_arguments, # packing= False, ) trainer.train() < /code> Ich starte es mit < /p> python -m torch.distributed.launch trainer.py[/code] resultiert jedoch zu einem Speicher [url=viewtopic.php?t=11587]Problem[/url] beim Laden des Basismodells. kann Multi -GPU zur Finetuning verwenden?. Wenn ja, welche Konfigurationsänderung ist erforderlich.
Ich versuche herauszufinden, wie ich einer Reihe von Anrufaufzeichnungen Zuschlagsraten hinzufügen kann. Bis vor kurzem haben sich die Preise noch nie geändert und ich kann den richtigen Tarif für...
Ich versuche herauszufinden, wie ich einer Reihe von Anrufaufzeichnungen Zuschlagsraten hinzufügen kann. Bis vor kurzem haben sich die Preise noch nie geändert und ich kann den richtigen Tarif für...