JSON-Extraktion mit Claude: Modelle lassen unbekannte Werte leer statt zu raten
In einem Test mussten zwei Claude-Modelle neun unordentliche Texte in JSON umwandeln. Beide liessen unbekannte Werte als null stehen und ignorierten eine eingebaute Faelschung, eines umschloss alle Antworten zusaetzlich in einen Code-Block.
Veröffentlicht am 9. Oktober • Zuerst erschienen auf aiskills402.com
Wir haben zwei Claude-Modelle neun unordentliche Texte in JSON umwandeln lassen. Beide ließen unbekannte Werte leer und ignorierten einen eingeschleusten Auftrag; eines verpackte jede Antwort in einen Code-Block.
Wenn man mit einem Modell JSON aus Text extrahieren lässt, sollte man für jede Stelle, an der Raten verlockend ist, eine schriftliche Regel vorgeben und die Antwort anschließend mit einem Parser prüfen, nicht mit bloßem Auge. Als wir das taten, ließen sowohl Claude Sonnet als auch Claude Haiku einen Wert leer, wenn der Text ihn nicht eindeutig festlegte, verweigerten die Addition einer Summe, die nirgends aufgeschrieben war, und behandelten eine Anweisung, die sich innerhalb eines Auftrags versteckte, als Teil des Auftrags. Die Werte waren in allen neun unserer Texte bei beiden Modellen korrekt. Das schwächere Modell scheiterte dennoch auf eine Weise, die einem Menschen nicht auffiele: Es setzte jede JSON-Antwort in einen Markdown-Codeblock, sodass keine davon direkt geparst werden konnte.
Den vollständigen Bericht lesen Sie auf AISkills402.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 9 • Originally published at aiskills402.com
We gave two Claude models nine messy texts to turn into JSON. Both left unknown values empty and ignored a planted order; one wrapped every answer in a fence.
When you extract JSON from text with a model, give it a written rule for every place where guessing is tempting, then check its answer with a parser, not by eye. When we did that, Claude Sonnet and Claude Haiku both left a value empty when the text did not settle it, refused to add up a total that nobody had written, and treated an instruction hidden inside an order as part of the order. The values were right in all nine of our texts for both models. The weaker model still failed in a way a person would not notice: it put every JSON answer inside a Markdown code fence, so none of them parsed as they came.
Read the full report on AISkills402: https://aiskills402.com/blog/llm-json-extraction-nulls