Wie kann ich den GPU -Speicher leeren, wenn ich einen Fehler wie OOM bekomme? ⇐ Python

[Anonymous]

Manchmal, wenn ich einen OOM -Fehler bekam, aber die Parameter von LLM in GPU geladen wurden und nicht automatisch gelöscht werden können.

Code: Select all

torch.cuda.empty_cache()

Aber es funktioniert nicht. So muss ich jedes Mal meine GPU neu starten, um den Cache zu löschen.