AAIP – Hoofdstuk 19
Recurrente Netwerken (RNN’s & LSTM’s)
19.1 Waarom recurrente netwerken?
Recurrente neurale netwerken (RNN’s) zijn ontworpen om **sequenties** te verwerken:
data waarbij de volgorde essentieel is.
Taal, audio, video, tijdreeksen — alles met een tijdsdimensie vraagt om RNN’s.
In dit hoofdstuk leer je:
- hoe RNN’s werken,
- wat het geheugenprobleem is,
- hoe LSTM’s en GRU’s dit oplossen,
- hoe sequenties worden verwerkt,
- hoe RNN’s worden getraind,
- waarom Transformers RNN’s hebben vervangen.
19.2 Het basisidee van RNN’s
Een RNN verwerkt input stap voor stap en onthoudt informatie via een verborgen toestand (hidden state).
19.2.1 Hidden State
De hidden state hₜ bevat informatie uit alle eerdere stappen.
hₜ = f(Wxₜ + Uhₜ₋₁ + b)
19.2.2 Waarom dit krachtig is
- het model kan context onthouden,
- het model begrijpt volgorde,
- het model kan variabele lengtes verwerken.
19.3 Het geheugenprobleem
Klassieke RNN’s hebben moeite met lange afhankelijkheden.
19.3.1 Vanishing Gradients
De gradiënten worden extreem klein → het model vergeet oude informatie.
19.3.2 Exploding Gradients
De gradiënten worden extreem groot → instabiele training.
RNN’s zijn goed in korte context, slecht in lange context.
19.4 LSTM’s: Long Short‑Term Memory
LSTM’s lossen het geheugenprobleem op met een slim gates‑systeem.
19.4.1 Gates
- Forget Gate – wat moet worden vergeten?
- Input Gate – wat moet worden opgeslagen?
- Output Gate – wat moet worden doorgegeven?
19.4.2 Cell State
Een aparte geheugenlijn die informatie over lange tijd kan vasthouden.
LSTM’s waren jarenlang de standaard voor taalmodellen.
19.5 GRU’s: Gated Recurrent Units
GRU’s zijn eenvoudiger dan LSTM’s maar bijna net zo krachtig.
19.5.1 Gates
19.5.2 Voordelen
- sneller te trainen,
- minder parameters,
- goed bij kleinere datasets.
19.6 Bidirectionele RNN’s
Deze netwerken verwerken sequenties van links‑naar‑rechts én rechts‑naar‑links.
Toepassingen
- spraakherkenning,
- named entity recognition,
- sentimentanalyse.
19.7 Training van RNN’s
19.7.1 Truncated Backpropagation Through Time (TBPTT)
Omdat volledige backpropagation te lang duurt, wordt deze beperkt tot een venster.
19.7.2 Regularisatie
- Dropout,
- Recurrent Dropout,
- Gradient Clipping.
19.8 Waarom Transformers RNN’s hebben vervangen
Transformers gebruiken self‑attention en kunnen:
- lange context verwerken,
- parallel trainen,
- veel grotere modellen bouwen.
RNN’s zijn niet verdwenen — maar Transformers domineren taalmodellen.
19.9 Toepassingen van RNN’s & LSTM’s
- spraakherkenning,
- machinevertaling,
- tijdreeksvoorspelling,
- muziekgeneratie,
- DNA‑analyse,
- sensoranalyse,
- chatbots (voor de Transformer‑era).
19.10 Reflectie‑opdracht
Beantwoord de volgende vragen schriftelijk:
- Wat is het belangrijkste voordeel van LSTM’s t.o.v. klassieke RNN’s?
- Waarom hebben RNN’s moeite met lange afhankelijkheden?
- Noem een toepassing waar GRU’s beter zijn dan LSTM’s.
- Waarom hebben Transformers RNN’s grotendeels vervangen?