Warum wird nach RandomizedSearchCV eine zusätzliche Anpassung durchgeführt, wenn refit=True? ⇐ Python

[Guest]

Ich arbeite an der Hyperparameter-Optimierung mit RandomizedSearchCV von scikit-learn und habe festgestellt, dass, obwohl der Parameter „refit“ auf „True“ gesetzt ist, ein zusätzlicher Anpassungsschritt erfolgt durchgeführt, nachdem die besten Parameter gefunden wurden.
Hier ist ein minimal reproduzierbares Beispiel:
from sklearn.datasets import make_classification
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
from scipy.stats import randint

# Generate a synthetic dataset
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

# Define a model and parameter distribution
model = RandomForestClassifier(random_state=42)
param_dist = {
'n_estimators': randint(10, 100),
'max_depth': randint(3, 20),
}

# Perform RandomizedSearchCV
search = RandomizedSearchCV(
model, param_dist, n_iter=10, cv=3, random_state=42, refit=True
)
search.fit(X, y)

# Access the best estimator
best_model = search.best_estimator_

print(best_model)

Ich verstehe, dass das Flag „refit=True“ angibt, dass das beste Modell nach der Hyperparameter-Optimierung für den gesamten Datensatz angepasst werden sollte. Warum wird jedoch das „beste Modell“ aus der Kreuzvalidierung nicht direkt als search.best_estimator_ zurückgegeben? Was ist der Grund für die Durchführung eines weiteren Anpassungsschritts für den gesamten Datensatz?