Tokenisierung – die Sprache der Maschinen
Bevor ein Sprachmodell Text versteht, zerlegt es ihn in Tokens. Tokens sind kleinste Einheiten – oft Silben, Wortteile oder Zeichenfolgen. Das Modell arbeitet nicht mit ganzen Wörtern, sondern mit Wahrscheinlichkeiten von Token-Ketten. Dadurch entstehen statistische Vorhersagen, die wie „Wahrscheinlichkeitsbrücken“ zwischen Bedeutungen wirken. Wer das versteht, erkennt, warum KI manchmal präzise ist – und manchmal stolpert.
5 Ansichten