Google, Red Hat und IBM veröffentlichen llm-d 1.0 für verteilte LLM-Inferenz
Die Kubernetes-native Open-Source-Plattform llm-d 1.0 bringt Multi-Tenant-Flusskontrolle, Upgrades ohne Ausfallzeit und agentenbewusstes Routing über vLLM, SGLang, TPUs und GPUs hinweg mit.
Der Artikeltext wird beim nächsten Sync nachgeladen. Original bei MarkTechPost lesen
Originaltitel: Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU FleetsQuelle: MarkTechPost (MarkTechPost). Original öffnen