Basis · module 31 van 95
Wat is een token eigenlijk?
Begrijp hoe AI tekst in stukjes knipt en waarom dat invloed heeft op lengte en kosten.
Na deze les
Je kunt uitleggen wat een token is en waarom korte, duidelijke prompts vaak beter werken.
Tokens zijn stukjes tekst
Een token is een woorddeel, woord of leesteken. “ontdekking” kan uit meerdere tokens bestaan. Het model rekent in tokens, niet in woorden.
Waarom het ertoe doet
Meer tokens betekent meer rekenwerk en soms hogere kosten. Lange context kan het model ook verwarren. Kort en relevant is vaak sterker.
Praktische tip
Schrijf eerst de kern, voeg details alleen toe als ze nodig zijn. Vraag het model om kort te antwoorden als je een beknopt resultaat wilt.
Een prompt om mee te starten
Leg in maximaal 80 woorden uit wat een token is en geef één voorbeeld waarbij een lange prompt minder goed werkt dan een korte.
Pas het toe
Een collega telt 100 woorden in een prompt en begroot daarom precies 100 tokens voor de aanvraag.
Welke aanpak past het best bij deze situatie?
- Reken altijd één token per woord.
- Gebruik de tokenizer of de gebruiksmeting van het gekozen model.
- Tel alleen de leestekens.
Met JavaScript kun je je aanpak controleren en direct feedback krijgen.
Test je inzicht
Wat is een token?
- Altijd een heel woord.
- Een stukje tekst (woorddeel, woord of leesteken) waarmee het model rekent.
- Alleen leestekens.
Extra oefenen
Schrijf een korte en een lange versie van dezelfde vraag. Noteer welke je zelf duidelijker vindt en waarom.
Kort: “Geef drie tips voor een duidelijke e-mail.” Lang: “Ik wil graag dat je, rekening houdend met allerlei factoren, uitgebreid uitlegt hoe ik…” De korte versie is vaak scherper.