Knowledge Science - Alles über KI, ML und NLP

Episode 103 - Speed Up Inference - Speculative Decoding

November 29, 2023 Sigurd Schacht, Carsten Lanquillon Season 1 Episode 103
Knowledge Science - Alles über KI, ML und NLP
Episode 103 - Speed Up Inference - Speculative Decoding
Show Notes

In der heutigen Sendung sprechen wir über Speculative Decoding, eine Methode, mit der die Inferenzzeit um den Faktor 2 - 2,4x beschleunigt werden kann. Wie das Verfahren funktioniert und welche Möglichkeiten es schafft, erfahren Sie in dieser Sendung. Bleiben Sie dran. 

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show