Verschachtelte Parallelität mit GridSearchCV verursacht unendlich hängen

Post a reply

Smilies
:) :( :oops: :chelo: :roll: :wink: :muza: :sorry: :angel: :read: *x) :clever:
View more smilies

BBCode is ON
[img] is ON
[flash] is OFF
[url] is ON
Smilies are ON

Topic review
   

Expand view Topic review: Verschachtelte Parallelität mit GridSearchCV verursacht unendlich hängen

by Anonymous » 06 Mar 2025, 12:14

Ich führe eine GridSearchCV -Optimierung in eine parallelisierte Funktion aus. Der Pseudocode sieht so aus < /p>

Code: Select all

from tqdm.contrib.concurrent import process_map
from sklearn.model_selection import GridSearchCV

def main():
results = process_map(func, it, max_workers=5)
# We never reach here with n_jobs > 1 in GridSearch

def func(it):
...
grid_search = GridSearchCV(..., n_jobs=5)
...
return result

if __name__ == "__main__":
main()
Wenn n_jobs > 1 Das Skript hängt auf unbestimmte Zeit bei der Rückgabe von Ergebnissen und fährt niemals weiter fort (obwohl alle Funktionen Aufgaben erledigt sind). Wenn ich n_jobs = 1 festlegt, dann funktioniert alles einwandfrei. Es gibt irgendeine Möglichkeit, diese Parallelität zusammen mit der äußeren Parallelismusschicht aufrechtzuerhalten?

Top