AAIP – Hoofdstuk 10
Evaluatie, Validatie & Overfitting
10.1 Waarom dit hoofdstuk cruciaal is
Een AI‑model dat goed presteert op trainingsdata maar slecht op nieuwe data
is waardeloos in de echte wereld.
Een model is pas intelligent als het generaliseert.
In dit hoofdstuk leer je:
- hoe je modelkwaliteit objectief meet,
- hoe je voorkomt dat een model “vals goed” lijkt,
- hoe je datasets correct splitst,
- wat overfitting en underfitting precies zijn,
- hoe je betrouwbare validatie uitvoert,
- hoe je hyperparameters correct afstemt.
10.2 Dataset‑splitsing: de basis van betrouwbare evaluatie
Een dataset moet worden opgesplitst in drie delen:
10.2.1 Training set
Het model leert hieruit.
Meestal 60–80% van de data.
10.2.2 Validatie set
Wordt gebruikt om hyperparameters af te stemmen.
Meestal 10–20%.
10.2.3 Test set
Wordt pas gebruikt aan het einde om de echte prestaties te meten.
Meestal 10–20%.
De test set mag nooit worden aangeraakt tijdens training of tuning.
10.3 Overfitting & Underfitting
10.3.1 Overfitting
Het model leert de trainingdata te goed — inclusief ruis en toevalligheden.
- hoge training accuracy,
- lage test accuracy,
- te complex model.
10.3.2 Underfitting
Het model is te simpel om patronen te leren.
- lage training accuracy,
- lage test accuracy,
- te weinig parameters.
10.3.3 De bias‑variance trade‑off
Een fundamenteel concept:
- Bias = fout door te simpel model
- Variance = fout door te complex model
Goed modelleren = balans vinden tussen bias en variance.
10.4 Validatietechnieken
10.4.1 Hold‑out validatie
De simpelste vorm: één vaste splitsing.
10.4.2 K‑Fold Cross‑Validation
De dataset wordt in K delen gesplitst.
Het model wordt K keer getraind en getest.
- veel betrouwbaarder,
- minder gevoelig voor toeval,
- standaard in professionele ML.
10.4.3 Stratified Sampling
Zorgt dat elke klasse evenredig voorkomt in elke fold.
Essentieel bij ongebalanceerde datasets.
10.5 Evaluatiemetrics voor classificatie
10.5.1 Accuracy
Percentage correcte voorspellingen.
Goed bij gebalanceerde datasets.
10.5.2 Precision
Hoeveel van de positieve voorspellingen zijn echt positief?
10.5.3 Recall
Hoeveel van de echte positieven worden gevonden?
10.5.4 F1‑score
Harmonisch gemiddelde van precision en recall.
10.5.5 Confusion Matrix
Een tabel die laat zien waar het model fouten maakt.
10.6 Evaluatiemetrics voor regressie
10.6.1 Mean Squared Error (MSE)
Straft grote fouten extra zwaar.
10.6.2 Mean Absolute Error (MAE)
Gemiddelde absolute fout — robuuster tegen outliers.
10.6.3 R² (R‑squared)
Hoeveel variantie verklaart het model?
10.7 Hyperparameter Tuning
Hyperparameters bepalen het gedrag van het model, zoals:
- learning rate,
- aantal lagen,
- aantal neuronen,
- regularisatie,
- batch size.
10.7.1 Grid Search
Test alle combinaties — nauwkeurig maar duur.
10.7.2 Random Search
Veel sneller, vaak net zo goed.
10.7.3 Bayesian Optimization
Slimme, wiskundige manier om snel optimale hyperparameters te vinden.
10.8 Regularisatie: overfitting voorkomen
10.8.1 L1 & L2 Regularisatie
Straffen grote gewichten → model wordt eenvoudiger.
10.8.2 Dropout
Neuronen worden willekeurig uitgeschakeld tijdens training.
10.8.3 Early Stopping
Stop training zodra validatiefout stijgt.
10.9 Reflectie‑opdracht
Beantwoord de volgende vragen schriftelijk:
- Waarom is een test set heilig?
- Leg in je eigen woorden uit wat overfitting is.
- Wat is het voordeel van K‑Fold Cross‑Validation?
- Noem een situatie waarin accuracy misleidend is.