Hallo zusammen und herzlich willkommen zu unserer heutigen Folge des "Knowledge Science Pulse" Podcasts! Heute haben wir ein spannendes Thema: Generalist Computer Agents und Under-trained Tokens in großen Sprachmodellen. Dazu begrüße ich meinen Kollegen Carsten. 

#### Hallo Sigurd, schön dich wieder zu sehen! Ja, heute haben wir wirklich zwei faszinierende Papers vor uns liegen. Lass uns direkt mit dem ersten Paper "OS-Copilot: Towards Generalist Computer Agents with Self-Improvement" starten. Was hältst du von dem vorgestellten Framework?

#### Das OS-Copilot Framework klingt für mich nach einem vielversprechenden Konzept, um generelle Computer Agenten für Linux und MacOS zu entwickeln. Besonders spannend finde ich den universellen Interface-Ansatz, um mit dem heterogenen OS-Ökosystem zu interagieren.

#### Guter Punkt! Die Möglichkeit mit Python Code, Bash Terminals, Maus/Tastatur-Steuerung und API Calls das gesamte Betriebssystem steuern zu können, eröffnet völlig neue Möglichkeiten für Agenten. Auch die Komponenten wie Planner, Configurator und Actor scheinen gut durchdacht zu sein.

#### Auf jeden Fall. Der Planner etwa zerlegt komplexe Aufgaben in Teilaufgaben, der Configurator hält Werkzeuge, Wissen und relevante Informationen bereit und der Actor führt diese dann iterativ aus und lernt durch Feedback. Das erinnert an kognitive Strukturen beim Menschen. 

#### Aber der Clou ist doch der auf OS-Copilot aufbauende Agent FRIDAY, oder? Durch Self-directed Learning kann er völlig unbekannte Applikationen quasi im Alleingang erlernen, ohne manuelles Finetuning!

#### Genau! Durch dieses selbstgesteuerte Lernen generiert sich FRIDAY selbständig eine Folge von einfachen bis schwierigen Übungsaufgaben zu einer App. Beim Lösen sammelt er dann wertvolle Werkzeuge und semantisches Wissen an. Das skaliert erheblich besser als alles händisch programmieren zu müssen.

#### Die beeindruckenden Ergebnisse von FRIDAY sprechen für sich. Auf dem GAIA Benchmark für allgemeine AI-Assistenten übertrifft er den vorherigen State-of-the-art um 35%. Sogar bei den allerschwersten Aufgaben auf Level 3 löst er als einziger noch 6% der Probleme. Und das mit minimalem Training!

#### Auch die Demonstration, wie FRIDAY lernt Excel und Powerpoint zu steuern, finde ich bemerkenswert. Nach nur 10 selbst generierten Übungsaufgaben übertrifft er sogar schon spezialisierte Agenten, die händisch für diese Programme entwickelt wurden. Das unterstreicht das Potenzial dieses Ansatzes. 

#### Absolut. Ich denke OS-Copilot und FRIDAY haben das Potenzial, das Forschungsfeld ordentlich voranzubringen. Aber kommen wir zum zweiten spannenden Paper des Tages: "Fishing for Magikarp: Automatically detecting under-trained tokens in large language models". Was verbirgt sich dahinter?

#### Die Autoren beleuchten hier eine oft übersehene Schwachstelle in großen Sprachmodellen: das sogenannte "under-training" bestimmter Token im Vokabular des Tokenizers. Diese Token kommen zwar im Vokabular vor, werden aber während des Trainings gar nicht oder viel zu selten gesehen.

#### Genau, und wenn diese untrainierten Token dann im Eingabetext auftauchen, können sie zu unerwünschtem Verhalten des Modells führen, wie Halluzinationen oder Nonsens-Ausgaben. Ein bekanntes Beispiel ist der "_SolidGoldMagikarp" Token im GPT-2 Modell.

#### Das Kernproblem ist die Entkopplung von Tokenizer und Modell-Training. Die Autoren stellen nun Methoden vor, um solche problematischen Token automatisch zu identifizieren - eine Kombination aus Tokenizer-Analyse, Indikatoren aus den Modellgewichten und gezieltem Prompting.

#### Die Tokenizer-Analyse ist schon sehr aufschlussreich. Neben unerreichbaren und speziellen Token fallen Einzelbyte-Token und UTF-8 Fragmente sofort als Kandidaten für untrainierte Token auf. Aber der eigentliche Clou sind die Indikatoren aus den Modellgewichten, richtig?

#### Ja, anhand der Embedding-Gewichte für die Token lässt sich sehr gut ablesen, welche Token vermutlich selten oder nie gesehen wurden. Je nach Modell-Architektur nutzen die Autoren verschiedene Indikatoren wie die Kosinusdistanz oder L2-Norm. Die Ergebnisse korrelieren sehr gut mit tatsächlichen Trainingshäufigkeiten, wo diese verfügbar waren.

#### Durch geschicktes Prompting werden die wahrscheinlichsten Kandidaten dann noch verifiziert. Token, die das Modell nicht reproduzieren kann, gelten als bestätigt untrainiert. Zwischen 0.1% und 1% der Vokabulare erwiesen sich so als stark untertrainiert - das scheint mir schon signifikant!

#### Auf jeden Fall, zumal untrainierte Token auch Kapazität im Tokenizer verschwenden und potenziell zur Umgehung von Sicherheitsvorkehrungen missbraucht werden können. Ganz zu schweigen vom negativen Einfluss auf die Inferenzgeschwindigkeit und Ergebnisqualität.

#### Bei der Analyse der verschiedenen Modelle haben die Forscher auch einige überraschende Token gefunden. Von nicht verwendeten Steuercodes über chinesische und koreanische Schriftzeichen bis hin zu fehlerhaften Emoji-Codierungen war alles dabei. Teils offensichtlich Fehlkonfigurationen im Tokenizer!

#### Ja, das zeigt wie wichtig es ist, Tokenizer-Training, Modell-Training und Inferenz-Preprozessing gut aufeinander abzustimmen. Genauso wie eine sorgfältige Analyse der trainierten Gewichte, um solche Probleme frühzeitig zu erkennen. Die vorgestellten Methoden scheinen dafür sehr geeignet.

#### Alles in allem also zwei inspirierende und praxisrelevante Arbeiten, die unser Verständnis von KI-Agenten und Tokenizern erweitern. In Zukunft sehen wir dadurch hoffentlich effizientere, robustere und besser generalisierbare Sprachmodelle.

#### Da stimme ich dir zu! Wir sind schon sehr gespannt, welche Durchbrüche uns in diesem spannenden Forschungsbereich noch erwarten. Das war es für heute von unserer Seite - vielen Dank fürs Zuhören und bis zum nächsten Mal!

#### Tschüss und macht's gut!