Underdog Saluki 27B: So läuft das 2-Bit quantisierte Modell mit Tool-Calling

Ein Leitfaden zeigt, wie sich Underdog Saluki 27B, ein 2-Bit quantisiertes Qwen3.8-27B, in llama.cpp betreiben lässt. Verglichen werden dabei GGUF-Header, Speicherverbrauch und die Tool-Calling-Leistung im BFCL-Benchmark gegenüber ISTAs GSQ-RCO-Quantisierung.

Der Artikeltext wird beim nächsten Sync nachgeladen. Original bei MarkTechPost lesen