Knowledge Science - Alles über KI, ML und NLP
Knowledge Science - Alles über KI, ML und NLP
Episode 237 - Rekursive Selbstverbesserung – Beschleunigt sich die KI-Forschung bereits selbst?
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
Irving John Good schrieb 1965, die erste ultraintelligente Maschine sei die letzte Erfindung, die der Mensch je machen müsse – vorausgesetzt, sie sei fügsam genug, uns zu sagen, wie wir sie unter Kontrolle halten. Sechzig Jahre später zeigt ein neuer Bericht, dass sich die KI-Forschung bei Anthropic zwischen 2024 und 2026 etwa verdoppelt hat – zu knapp einem Drittel getragen von KI-Systemen selbst. Und ausgerechnet in der Woche des größten Börsengangs der Geschichte.
Sigurd und Carsten zerlegen den Begriff „rekursive Selbstverbesserung“ in seine Bestandteile: Was ist rekursiv, was ist selbst, was ist Verbesserung? Warum Goodharts Gesetz jede Messung von Fortschritt untergräbt, warum Carl Shulmans Schleife aus Umsatz, Hardware und Forschung eine alternative Beschreibung sein könnte als Yudkowskys „FOOM“ – und was es bedeutet, wenn Modelle bei Safety-Aufgaben absichtlich schlechter abschneiden. Am Ende bleibt die Frage, die alles entscheidet: Wer ist eigentlich „uns“?
Erwähnte Quellen und Namen:
- Irving John Good, „Speculations Concerning the First Ultraintelligent Machine“ (1965) http://incompleteideas.net/papers/Good65ultraintelligent.pdf
- Eliezer Yudkowsky zu rekursiver Selbstverbesserung und „FOOM“ (2008) https://www.lesswrong.com/posts/JBadX7rwdcRFzGuju/recursive-self-improvement
- Carl Shulman zu ökonomischen Rückkopplungsschleifen. https://www.youtube.com/watch?v=wTci0CdOPIc
- Bericht zur Beschleunigung der KI-Forschung bei Anthropic 2024–2026 https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
- OpenAI-Bericht zu Sandbagging bei Safety-Aufgaben https://alignment.openai.com/misalignment-reports/covert-underperformance-on-safety-research-tasks/
- Episode 236 mit Karl von Wendt zum Thema Kontrollillusionen