Knowledge Science - Alles über KI, ML und NLP
Knowledge Science - Alles über KI, ML und NLP
Episode 195 - Die Kunst des Reward Hackings: Wie KI-Systeme den leichtesten Weg finden.
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
In dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben.
Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/