3× rstecken in »strawberry«
Zahlen statt Buchstaben
Ein Sprachmodell rechnet mit Zahlen, nicht mit Text. Deshalb wird jeder Text zuerst in Stücke zerlegt, und jedes Stück bekommt eine feste Nummer. Ein Stück kann ein ganzes Wort sein oder nur ein Teil davon. Die einzelnen Buchstaben sieht das Modell so nicht direkt.
Was eine Studie fand
Ein Team um Tairan Fu testete 2024 viele Modelle mit vielen Wörtern. Ergebnis: Die Modelle erkennen die Buchstaben, können sie aber schlecht zählen. Am häufigsten liegen sie falsch, wenn ein Buchstabe mehrfach vorkommt. Wie häufig ein Wort im Training war, spielte dagegen kaum eine Rolle.
_single2.jpg){kind=link}