3Datenfalsch, für denselben Geburtstag
Wie in einer Prüfung
Forschende von OpenAI und Georgia Tech vergleichen Sprachmodelle mit Schülern vor schweren Prüfungsfragen: Wer unsicher ist, rät. Gibt es für richtig einen Punkt und für eine leere Antwort keinen, lohnt sich Raten immer. Viele Tests für Sprachmodelle zählen genau so.
Drei Daten, alle falsch
Die Forschenden fragten ein großes Modell nach dem Geburtstag des Erstautors Adam Tauman Kalai – nur zu beantworten, wenn bekannt. In drei Versuchen kamen drei verschiedene falsche Daten. Ihr Vorschlag: Tests sollen Unsicherheit nicht mehr bestrafen.
