DeepInfer: Deepseek gibt die Betriebssoftware hinter seinem schnellen KI-Modell frei

Deepseek veröffentlicht mit DeepInfer sein internes Inference-Framework als Open Source. Das auf vLLM basierende System soll Rechenkosten und Energieverbrauch beim Betrieb von KI-Modellen senken. Damit erhöht das chinesische Unternehmen den Preisdruck auf westliche Anbieter wie OpenAI und Anthropic