Transformer-basierte Large Language Models (LLMs) sind zentrale Werkzeuge der modernen Sprachverarbeitung, ihre internen Repräsentationsprozesse jedoch weitgehend intransparent. Insbesondere Rauschen und Stille werden meist als unerwünschte Nebeneffekte betrachtet. Projekt C05 untersucht beide Phänomene als strukturell relevante Bestandteile von Modellverhalten.

Ziele und Vorgehen

Das Projekt analysiert, wie Rauschen und Stille in LLMs entstehen und weitergegeben werden. Rauschen wird als Form repräsentationaler Instabilität untersucht, etwa in Halluzinationen oder Ambiguitäten. Stille wird nicht als Leerstelle verstanden, sondern als implizites Diskurssignal, das für Sprecherwechsel, Zögern oder Unterbestimmtheit relevant ist.

Methodisch werden LLMs auf Dialogkorpora mit expliziten Stille-Annotationen feinjustiert und durch Visual-Analytics-Verfahren analysiert. Diese machen interne Repräsentationen und Aufmerksamkeitsstrukturen sichtbar und ermöglichen erklärbare Analysen von Modellverhalten.

Förderung

Deutsche Forschungsgemeinschaft (DFG), SFB 1760