Was wäre wenn wir Prompts automatisch verkleinern und damit Kosten und Geschwindigkeit eines LLMs ohne Informationsverlust verbessern könnten ?
Diesen Ansatz verfolgt LLMLingua über das wir in der heutigen Sendung sprechen wollen.
LLMLingua: https://arxiv.org/abs/2310.05736
LongLLMLingua: https://arxiv.org/abs/2310.06839
LLMLingua2:https://arxiv.org/abs/2403.12968