Wie kann ich den GPU -Speicher leeren, wenn ich einen Fehler wie OOM bekomme?

Post a reply

Smilies
:) :( :oops: :chelo: :roll: :wink: :muza: :sorry: :angel: :read: *x) :clever:
View more smilies
BBCode is ON
[img] is ON
[flash] is OFF
[url] is ON
Smilies are ON
Topic review
   

Expand view Topic review: Wie kann ich den GPU -Speicher leeren, wenn ich einen Fehler wie OOM bekomme?

by Anonymous » 07 Sep 2025, 10:12

Manchmal, wenn ich einen OOM -Fehler bekam, aber die Parameter von LLM in GPU geladen wurden und nicht automatisch gelöscht werden können.

Code: Select all

torch.cuda.empty_cache()
Aber es funktioniert nicht. So muss ich jedes Mal meine GPU neu starten, um den Cache zu löschen.

Top