Knowledge Science - Alles über KI, ML und NLP
Knowledge Science - Alles über KI, ML und NLP
Episode 231 - Vom Sparse Autoencoder zum Natural Language Autoencoder – Ein neuer Blick in die KI-Blackbox
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
In dieser Folge widmen sich Sigurd Schacht und Carsten Lanquillon einem brandaktuellen Paper aus dem Mai 2026: den Natural Language Autoencoders. Während klassische Sparse Autoencoder Aktivierungen über Umwege in Konzepte übersetzen, gehen diese neuen Modelle einen radikal anderen Weg – sie verbalisieren Aktivierungen direkt in natürlicher Sprache. Die beiden diskutieren, wie Activation Verbalizer und Activation Reconstructor zusammenspielen, warum ein „Warmstart" beim Training nötig ist, welche Stärken die Methode für Interpretability bietet – und wo ihre fundamentalen Grenzen liegen. Eine Folge für alle, die verstehen wollen, wie wir KI-Modellen in den Kopf schauen können (und warum das schwieriger ist, als es klingt).