Tsinghua-Forscher veröffentlichen AKV, ein Cache-Engineering-System für LLM-Agents auf SGLang
AKV verwaltet den KV-Cache so, dass Agents ihre Historie neu positionieren statt zusammenzufassen. Das senkt die Kosten laut Tests über vier Agent-Benchmarks um durchschnittlich 27,7 Prozent.
Der Artikeltext wird beim nächsten Sync nachgeladen. Original bei MarkTechPost lesen
Originaltitel: Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLangQuelle: MarkTechPost (MarkTechPost). Original öffnen