TokenGate beschleunigt Long-Context-Prefill bei LLMs bis zu 11,3-fach
Forscher von Stanford und UC Berkeley haben TokenGate vorgestellt, ein nahtlos integrierbares Modul zum Lernen von Token-Pruning in LLMs. Es reduziert die Zeit bis zum ersten Token um Faktor 1,4 bis 11,3 und den Speicherbedarf um bis zu Faktor 3,4 ohne Genauigkeitsverlust.
Der Artikeltext wird beim nächsten Sync nachgeladen. Original bei MarkTechPost lesen
Originaltitel: Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x FasterQuelle: MarkTechPost (MarkTechPost). Original öffnen