Hallo Carsten, heute sprechen wir in unserem Knowledge Science Pulse Podcast über zwei spannende Paper zum Thema KI und Mathematik. Das erste Paper heißt "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model". Hast du schon davon gehört?

#### Ja, ich habe davon gelesen. DeepSeek-V2 ist ein beeindruckendes Sprachmodell mit 236 Milliarden Parametern. Aber das Besondere ist, dass für jedes Token nur 21 Milliarden Parameter aktiviert werden. Damit ist es sehr effizient.

#### Genau, und durch die innovative Architektur mit Multi-Head Latent Attention, kurz MLA, und der DeepSeekMoE Architektur erreicht es eine hohe Inferenzeffizienz und kann mit geringeren Trainingskosten starke Leistung erzielen.

#### Die MLA komprimiert den Key-Value Cache in einen latenten Vektor, was den Speicherbedarf um 93% reduziert und den Durchsatz um das 5,7-fache erhöht im Vergleich zum Vorgänger DeepSeek 67B. Ziemlich beeindruckend! 

#### Auf jeden Fall. Und durch DeepSeekMoE mit feingranularer Expertensegmentierung und geteilten Experten kann es 42,5% Trainingskosten einsparen. Das Training erfolgte auf einem riesigen Datensatz mit 8,1 Billionen Token.

#### Beim Vergleich mit anderen Open-Source-Modellen zeigt DeepSeek-V2 Spitzenleistungen, obwohl nur 21 Milliarden Parameter aktiviert werden. Es übertrifft sogar das 72 Milliarden Parameter große Qwen 1.5 Modell auf fast allen englischen Benchmarks.

#### Und auch nach Supervised Fine-Tuning und Reinforcement Learning zur Anpassung an menschliche Präferenzen erreicht die Chat-Version hervorragende Ergebnisse bei der Open-End-Konversation in Englisch und Chinesisch. Da sieht man das Potenzial solch effizienter Architekturen.

#### Absolut. Lass uns mal einen Blick auf das zweite Paper werfen: "AlphaMath Almost Zero: Process Supervision without Process" von chinesischen Forschern. Hier geht es darum, die mathematischen Fähigkeiten von Sprachmodellen ohne annotierte Lösungswege zu verbessern.

#### Genau, die Autoren nutzen einen Monte Carlo Tree Search, um automatisch sowohl Überwachungsdaten für den Lösungsprozess als auch Bewertungssignale zu generieren. Damit braucht man nur noch die Aufgaben und finalen Antworten zum Training.

#### Der Clou ist, ein Schritt-Level-Wertmodell zu trainieren, das die Inferenz des Sprachmodells in mathematischen Domänen verbessert. Und die Experimente zeigen, dass mit dieser Methode generierte Lösungen die Leistung bei komplexen mathematischen Aufgaben signifikant steigern.

#### Faszinierend finde ich den iterativen Ansatz mit drei Schritten: Erst sammelt man einen Datensatz aus Mathe-Fragen und Antworten. Dann verwendet man MCTS mit Politik- und Wertmodellen, um korrekte und falsche Lösungspfade samt geschätzten Knotenwerten zu generieren.  

#### Und schließlich optimiert man die Politik- und Wertmodelle mit den so erhaltenen Daten. Dieser Prozess wird dann wiederholt, um die Modelle immer weiter zu verbessern, ohne manuelles Labeling zu benötigen.

#### Bei den Experimenten auf dem MATH-Datensatz zeigt sich, dass die Methode sogar mit aktuellen SFT-Modellen mithalten oder diese übertreffen kann, obwohl keine annotierten Lösungen verwendet werden. Und der schrittweise Beam-Search mit dem Wertmodell ermöglicht es, effizient gute Lösungspfade zu finden.

#### Man sieht hier schön das Potenzial, mit iterativen Ansätzen und Suchstrategien die Fähigkeiten von Sprachmodellen in spezifischen Domänen wie Mathe zu verbessern, ohne auf teure menschliche Annotationen angewiesen zu sein. Das eröffnet spannende Möglichkeiten.

#### Dem stimme ich zu. Beide Paper zeigen innovative Wege auf, einerseits durch effiziente Architekturen und andererseits durch intelligente Trainingsstrategien die Leistung und Anwendbarkeit von KI-Modellen voranzubringen. Man darf gespannt sein, was die Zukunft hier noch bringt.

#### Auf jeden Fall. Das waren wirklich zwei höchst spannende Arbeiten. Ich denke wir können an dieser Stelle eine Schluss für heute machen. Vielen Dank an unsere Zuhörer und bis zum nächsten Mal! 

#### Dem schließe ich mich an. Danke fürs Zuhören und Auf Wiedersehen!