Warum ist mein neuronales Netzwerk auch nach der Verwendung von Dropout und L2-Regularisierung überpasst? ⇐ Python

[Anonymous]

Ich arbeite an einem binären Klassifizierungsproblem unter Verwendung eines neuronalen Netzwerks in TensorFlow/Keras.

Der Datensatz umfasst etwa 9.500 Trainingsbeispiele und 2.500 Testbeispiele.
Meine Modellarchitektur:

Code: Select all

model = Sequential([
Dense(128, activation='relu', input_shape=(X_train.shape[1],)),
Dropout(0.4),
Dense(64, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001)),
Dropout(0.3),
Dense(1, activation='sigmoid')
])

Ich verwende:

• Optimierer: Adam
  />

Selbst nach dem Hinzufügen von Dropout und L2-Regularisierung steigt die Trainingsgenauigkeit weiter an (≈97 %), während die Validierungsgenauigkeit bei etwa 81 % bleibt. Auch der Validierungsverlust nimmt zu, was eindeutig nach Überanpassung aussieht – aber ich verwende bereits Regularisierungstechniken.