Knowledge Science - Alles über KI, ML und NLP
Knowledge Science - Der Podcast über Künstliche Intelligenz im Allgemeinen und Natural Language Processing im Speziellen. Mittels KI Wissen entdecken, aufbereiten und nutzbar machen, dass ist die Idee hinter Knowledge Science. Durch Entmystifizierung der Künstlichen Intelligenz und vielen praktischen Interviews machen wir dieses Thema wöchentlich greifbar.
Knowledge Science - Alles über KI, ML und NLP
Episode 132 - Kompression von Prompts
•
Sigurd Schacht, Carsten Lanquillon
•
Season 1
•
Episode 132
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
Was wäre wenn wir Prompts automatisch verkleinern und damit Kosten und Geschwindigkeit eines LLMs ohne Informationsverlust verbessern könnten ?
Diesen Ansatz verfolgt LLMLingua über das wir in der heutigen Sendung sprechen wollen.
LLMLingua: https://arxiv.org/abs/2310.05736
LongLLMLingua: https://arxiv.org/abs/2310.06839
LLMLingua2:https://arxiv.org/abs/2403.12968