Wie lädt ich ein mit dem Umarmungsface vorbereiteter Transformatormodell direkt in die GPU? ⇐ Python

[Anonymous]

Ich möchte ein vorgezogenes Transformatormodell direkt in die GPU (nicht genügend CPU -Raum) laden
e.g. Laden von Bert < /p>

Code: Select all

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("bert-base-uncased")
< /code>
wird bis zur Ausführung < /p>
in CPU geladenmodel.to('cuda')

Jetzt wird das Modell in GPU
geladen. Ich möchte das Modell direkt in GPU laden, wenn Sie von _pretrainierten ausgeführt werden. Ist das möglich?