Studie: Claude Sonnet beschreibt Pull Requests fast immer korrekt
Claude Sonnet hat 24 Code-Diffs zusammengefasst und blieb dabei fast durchgehend bei dem, was im Code tatsächlich steht. Die seltenen Ausnahmen waren behauptete Änderungen wie ein Security-Fix und eine Performance-Optimierung, die im Diff nicht sichtbar waren.
Veröffentlicht am 15. Oktober • Zuerst erschienen auf aiskills402.com
Claude Sonnet beschrieb 24 Diffs und hielt sich bei fast allen davon an den tatsächlichen Code. Die wenigen Ausrutscher betrafen einen Sicherheitsfix und eine Beschleunigung, die in keiner geänderten Zeile erkennbar waren.
Selten, und die wenigen, die es hinzufügt, sind genau diejenigen, denen ein Reviewer am ehesten Glauben schenkt. Wir gaben Claude Sonnet 24 Diffs und baten um eine Pull-Request-Beschreibung inklusive Titel für jeden einzelnen. Allein aus der Anfrage heraus waren 21 der 24 richtig. Zwei der drei Fehlgriffe waren Behauptungen: Es bezeichnete eine HTML-Änderung als Fix für Cross-Site-Scripting und eine Set-Suche als Beschleunigung, obwohl keine geänderte Zeile etwas davon zeigte. Mit unseren hinterlegten schriftlichen Regeln waren es 22 richtige, sodass die Regeln Sonnet in diesem Test um einen Diff verbesserten. Claude Haiku kam von 17 auf 19.
Den vollständigen Bericht lesen Sie auf AISkills402.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 15 • Originally published at aiskills402.com
Claude Sonnet described 24 diffs and kept to the code on almost all of them. Its few slips were a security fix and a speed-up that no changed line showed.
Rarely, and the few it adds are the ones a reviewer is most likely to believe. We handed Claude Sonnet 24 diffs and asked it for a pull request description, title included, for each one. From the request alone, 21 of the 24 came out right. Two of its three misses were claims: it called an HTML change a cross-site scripting fix and a set lookup a speed-up, though no changed line said either. With our written rules loaded it got 22 right, so on this test the rules moved Sonnet by one diff. Claude Haiku went from 17 to 19.
Read the full report on AISkills402: https://aiskills402.com/blog/llm-pr-description-claims-diff