Zehn lokale LLMs im Test: Produkttexte komplett auf dem ASUS GX10 generiert
Für einen Shopware-6-Shop mit über 10.000 Artikeln wurden deutsche Produktbeschreibungen lokal auf einem ASUS GX10 mit NVIDIA GB10 und 128 GB Shared Memory erzeugt. Getestet wurden zehn Modelle mit gleichem Brand-Prompt unter acht Setups.
Ich brauchte deutsche Produktbeschreibungen für einen B2B-Shop für Arbeitskleidung und Corporate Fashion (Shopware 6, über 10.000 Artikel). Die Anforderungen: korrektes Deutsch, keine erfundenen Eigenschaften und die Markenvorgaben des Kunden. Alles lief lokal auf einem einzigen ASUS GX10 (NVIDIA GB10, 128 GB Speicher, von CPU und GPU gemeinsam genutzt, keine dedizierte Grafikkarte).
Ich habe den Test in drei Schritten durchgeführt. Jeder Text wurde gegen die Lieferantendaten geprüft und nach einer festen Rubrik mit bis zu 10 Punkten bewertet, wobei Claude (Anthropic) als Prüfer diente und es einen schriftlichen Grund pro Text gab. Das ist ein begründetes Urteil, keine Messung.
Der vollständige Bericht mit allen Tabellen, Bewertungen pro Artikel und Laufzeiteinstellungen: GX10 Product Copy Test
Zehn lokale Modelle, 30 Artikel, dieselben Daten, derselbe Prompt. Die Gemma-4-Familie hat gewonnen (Gemma 4 26B: 288/300, mit 12B und 31B direkt dahinter). Typische Fehler anderswo: fehlende Sicherheitsnormen bei Warnschutzjacken, als Branchen kopierte Prompt-Beispiele, ein erfundenes "Geschäftskundenangebot" in Meta-Beschreibungen.
Die drei größten Modelle (71 bis 86 GB) landeten hinter dem 18 GB großen Gemma 4 26B.
Die Kundin, eine Designerin, hatte ihre Markenstimme als Prompt formuliert: klare Sprache, verbotene Floskeln, strenge Faktregeln. Dieselben 30 Artikel, die Top-Fünf-Modelle:
Die Bewertung war strenger, weil der Ton mitzählte, also achte auf die Spanne: 7 Punkte mit dem einfachen Prompt, 111 mit dem echten. Benchmark mit deinem Produktions-Prompt.
Zuerst habe ich die Pipeline festgezurrt (50 neue Artikel aus 50 Produkttypen, shop-fertiges HTML plus SEO-Felder). Was am meisten geholfen hat:
Dann dieselbe Pipeline mit verschiedenen Builds und Runtimes:
Zwei brandneue Modelle aus Oktober 2026 kamen nicht annähernd heran: NVIDIA Nemotron 3.5 Bolt erzielte 305, Aleph Alpha Kolibri-1 290. Wiederholte Läufe desselben Gemma-Setups landeten zwischen 416 und 421, also sind ein paar Punkte Rauschen. Abstände von 100 sind es nicht.
Der Serving-Aufruf, zur Referenz. Thinking ausgeschaltet, JSON-Schema, wo strukturierte Ausgabe nötig ist:
body = { " model ": " gemma4-31b-qat ", " messages ": messages, " temperature ": 0.3, " max_tokens ": 1200, " chat_template_kwargs ": { " enable_thinking ": False }, " response_format ": { " type ": " json_schema ", " json_schema ": { " name ": " answer ", " schema ": schema }}} Enter fullscreen mode Exit fullscreen mode Fazit: Benchmark mit deinem echten Prompt und deinen schlechtesten Daten. Wähle den Build, nicht nur das Modell. Nutze einen Batching-Server für Massenjobs. Prüfe Pflichtfakten mit festen Regeln. Behalte eine menschliche Stichprobe bei. Alles andere (Schritt-für-Schritt-Tabellen, Bewertungen pro Artikel für alle 11 Läufe, die vLLM-Einstellungen für Gemma, Nemotron und Kolibri auf einem GB10, ein Artikel im Modellvergleich) steht im vollständigen Bericht.
Ich bin Shopware-Freelancer. Wenn ihr QAT gegenüber Post-hoc-Quantisierungen bei anderen Aufgaben gemessen habt, würde ich mich freuen, uns in den Kommentaren auszutauschen.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
I needed German product descriptions for a B2B workwear and corporate fashion shop (Shopware 6, 10,000+ articles). Requirements: correct German, no invented properties, and the client's brand rules. Everything runs locally on one ASUS GX10 (NVIDIA GB10, 128 GB memory shared by CPU and GPU, no discrete graphics card).
I ran the test in three steps. Every text was checked against the supplier data and scored out of 10 against a fixed rubric, with Claude (Anthropic) as the reviewer and a written reason per text. That's a reasoned judgement, not a measurement.
Full report with all tables, per-article scores and runtime settings: GX10 Product Copy Test
Ten local models, 30 articles, same data, same prompt. The Gemma 4 family won (Gemma 4 26B: 288/300, with 12B and 31B right behind). Typical failures elsewhere: dropped safety standards on hi-vis jackets, prompt examples copied in as industries, an invented "business customer offer" in meta descriptions.
The three largest models (71 to 86 GB) ranked below the 18 GB Gemma 4 26B.
The client, a designer, wrote her brand voice as a prompt: plain language, banned clichés, strict fact rules. Same 30 articles, top five models:
Scoring was stricter because tone counted, so look at the spread: 7 points with the plain prompt, 111 with the real one. Benchmark with your production prompt.
First I fixed the pipeline (50 new articles from 50 product types, shop-ready HTML plus SEO fields). What helped most:
Then the same pipeline with different builds and runtimes:
Two brand-new models from October 2026 didn't come close: NVIDIA Nemotron 3.5 Bolt scored 305, Aleph Alpha Kolibri-1 290. Repeated runs of the same Gemma setup landed between 416 and 421, so a few points are noise. Gaps of 100 are not.
The serving call, for reference. Thinking off, JSON schema where structured output is needed:
body = { " model ": " gemma4-31b-qat ", " messages ": messages, " temperature ": 0.3, " max_tokens ": 1200, " chat_template_kwargs ": { " enable_thinking ": False }, " response_format ": { " type ": " json_schema ", " json_schema ": { " name ": " answer ", " schema ": schema }}} Enter fullscreen mode Exit fullscreen mode Takeaways Benchmark with your real prompt and your worst data. Pick the build, not just the model. Use a batching server for bulk jobs. Check mandatory facts with fixed rules. Keep a human spot check. Everything else (step-by-step tables, per-article scores for all 11 runs, the vLLM settings for Gemma, Nemotron and Kolibri on a GB10, one article compared across models) is in the full report.
I'm a Shopware freelancer. If you've measured QAT against post-hoc quants on other tasks, I'd like to compare notes in the comments.