9 LLMs im Test: Welches KI-Modell hilft bei welchem Teil der Doktorarbeit?

Offenlegung: Dieser Artikel wurde AI-Assisted verfasst (gemäß Dev.to-Richtlinie). Alle Benchmark-Daten, Prompts, Modellausgaben und Bewertungen stammen aus tatsächlich durchgeführten API-Aufrufen. Die Struktur und Formulierung des Artikels selbst wurden von mir zusammen mit Claude entworfen und anschließend manuell überarbeitet.

Ob und wie KI in einer Doktorarbeit eingesetzt werden darf, hängt von Hochschule, Fach und Verlag ab. Meine praktische Frage ist: Welches Modell hilft bei welchem Teil der Arbeit, wenn ich Fakten, Sprache und Offenlegung selbst prüfe?

Ähnlichkeitsprüfungen und KI-Erkennung beantworten unterschiedliche Fragen. Dieser Benchmark hat keines der genannten Erkennungssysteme getestet:

Viele deutsche Promovierende konzentrieren sich auf den ersten Wert und übersehen den zweiten. Das ist riskant: Elsevier, Springer Nature und die großen deutschen Fachverlage fragen bei der Einreichung mittlerweile explizit nach dem Einsatz von KI, und einige Fakultäten (vor allem in Jura, Medizin und BWL) prüfen aktiv auf „AI-Geschmack" in eingereichten Qualifikationsarbeiten.

Also habe ich einen Benchmark mit 9 Modellen, 11 Aufgaben und 89 geplanten Testpositionen angelegt. Im Hauptlauf wurden acht Positionen übersprungen; Fehler und leere Antworten wurden teils erneut getestet. Die gesammelten Ausgaben bewertete anschließend ein zweites Modell ( deepseek-v4.1-flash ) nach acht Dimensionen auf einer AI-ness-Skala von 1 bis 10. Diese Modellbewertung ist kein Turnitin-Ergebnis.

Dieser Artikel fasst die Ergebnisse so zusammen, dass ihr sie direkt in euren Schreibworkflow übernehmen könnt — welches Modell für welchen Kapiteltyp, was es kostet und welche Fallen ihr umgehen solltet.

Alle Modelle wurden über einen OpenAI-kompatiblen Aggregator (Crazyrouter) angesprochen, damit ich nicht neun separate Konten, neun Billing-Dashboards und neun verschiedene Base-URLs verwalten muss. Die Ergebnisse gelten natürlich auch, wenn ihr die offiziellen APIs der einzelnen Anbieter direkt nutzt — die Unterschiede liegen im Modell selbst, nicht im Transportweg.

Die Aufgabenliste orientiert sich an einem typischen Promotionsworkflow:

Für jede Aufgabe wurde dieselbe Prompt-Variante an alle Modelle geschickt. Die gesamte Testdatei wurde zusammen mit Logs und Metriken aufbewahrt.

Für die Faktenfrage-Aufgabe habe ich jedem Modell ein 5000-Wörter-arXiv-Paper (die komplette Introduction) übergeben und zehn konkrete Fragen gestellt: Was ist die Forschungsfrage? Wie groß war die Stichprobe? Welche zwei Kernkomponenten hat die Architektur? In welchem Abschnitt findet sich die Ablationsstudie?

Kimi K3.1 Pro beantwortete alle zehn korrekt und konnte jede Antwort einer konkreten Textstelle zuordnen. Sogar das Verhältnis „Textinteraktion 70 % vs. Sprachinteraktion 30 %" wurde wörtlich aus dem Paper wiedergegeben.

GPT-5 lieferte bei exakt derselben Aufgabe eine leere Antwort und beendete den Versuch wegen des Ausgabelimits. Auch bei anderen Aufgaben gab es im Hauptlauf leere Antworten, von denen mehrere später erfolgreich nachgetestet wurden. Für diese konkrete Langtextaufgabe war Kimi die verlässlichere Wahl; ein allgemeines Urteil über GPT-5 folgt daraus nicht.

Das englische Abstract verlangt besondere fachliche und sprachliche Prüfung. Ich ließ Opus aus zehn Stichpunkten ein 250-Wörter-Abstract im IMRaD-Format erzeugen. Das Ergebnis:

Die Übersetzungs-Fingerprint-Bewertung lag bei 3/10, dem niedrigsten Wert im gesamten Test.

Zum Vergleich: DeepSeek V4 Pro produzierte einen Satz wie with a beta coefficient of 0.42 and a significance level of p <.001. Für diesen Kontext wäre β = 0.42, p <.001 knapper. Ob ein Erkennungssystem solche Formulierungen markiert, wurde hier nicht geprüft. Für mein englisches Abstract würde ich die Ausgabe deshalb sorgfältig fachlich redigieren und mit anderen Entwürfen vergleichen.

Bei der Gliederungsaufgabe öffneten Qwen 3.8 Max und Doubao Seed 2.1 Turbo ihre Antworten so:

Qwen: „Die Gliederung wurde bis zur dritten Ebene detailliert, jedes Kapitel mit einer Einsatz-Zusammenfassung versehen und die Längenverteilung mit einer Gesamtsumme von 100 % angegeben."

Doubao (am Ende): „Pflichtmodul-Prüfung: Literaturüberblick (Kap. 2), theoretischer Rahmen (Kap. 3),... alle abgedeckt."

Das sind Lieferscheine innerhalb des Dokuments. Menschen schreiben keine Abhakliste ihrer eigenen Anweisungen in den fertigen Text. Diese zwei Sätze allein lassen jede einigermaßen aufmerksame Prüfung sofort schließen: „Das war ein LLM." Bei gleichen Prompts erzielten Opus 4/10 und beide Alternativen 8/10 AI-ness. Das ist die größte Spreizung im gesamten Benchmark.

Qwen und Doubao sind dennoch nützlich — nur eben für interne Anträge, Projektskizzen, Wochenberichte und Foliengerüste. Dort ist der „Lieferschein" ein Feature, kein Bug.

const route = { topic_brainstorm: ' deepseek-v4-pro ', // günstig, viele Varianten literature_review: ' kimi-k3.1-pro ', // Langkontext thesis_outline: ' claude-opus-5-5 ', // niedrigste AI-ness de_methods_draft: ' deepseek-v4-pro ', // Rohtext deutsch en_abstract: ' claude-opus-5-5 ', // im Test sprachlich stark cn_en_translation: ' claude-opus-5-5 ', // keine Rückübersetzungsspuren math_derivation: ' gpt-5 ', // sauberer Schrittablauf data_analysis_script: ' claude-sonnet-5-5 ', // folgsam, kein Bibliothekswechsel reviewer_response: ' claude-opus-5-5 ', // passender Ton internal_proposal: ' qwen3.8-max ', // „Lieferschein"-Format erwünscht weekly_report: ' doubao-seed-2-1-turbo ', }; Enter fullscreen mode Exit fullscreen mode Zusammengefasst: Claude Opus 5.5 + Kimi K3.1 Pro + DeepSeek V4 Pro decken etwa 95 % einer Dissertation ab. Alle anderen Modelle sind Spezialfälle.

Die protokollierten Aufrufe und Nachtests ergeben nach den verwendeten Listenpreisen eine Schätzung von 3,04 USD. Die Verteilung:

Opus ist etwa 19× so teuer wie DeepSeek pro Aufruf. Für eine realistische Dissertation mit 80 % deutschem Entwurfstext durch DeepSeek + 20 % kritischen englischen Passagen durch Opus landet man bei etwa 5-10 USD für die gesamte Schreibarbeit — deutlich günstiger als ein einstündiges Fremdlektorat und mit vergleichbarer Qualität.

Kurzskizze der Aufrufstruktur (OpenAI-kompatibel):

async function callModel ( apiKey, modelId, prompt, maxTokens = 4500 ) { const res = await fetch ( ' https://api.crazyrouter.com/v1/chat/completions ', { method: ' POST ', headers: { ' Authorization ': `Bearer ${ apiKey } `, ' Content-Type ': ' application/json ', }, body: JSON. stringify ({ model: modelId, messages: [ { role: ' user ', content: prompt }, ], max_tokens: maxTokens, stream: false, }), }); return ( await res. json ()). choices?.[ 0 ]?. message?. content?? ''; } Enter fullscreen mode Exit fullscreen mode Drei Dinge, die ich auf die harte Tour gelernt habe:

Die offiziellen Anbieter-APIs tun es natürlich genauso — der Aggregator spart hier nur das Multi-Konto-Management. Details zur Integration findet ihr in der Crazyrouter-Dokumentation oder im Multi-Model-Guide.

AI-ness ≠ Plagiat oder Detektorergebnis. Der Wert hier ist eine Einschätzung eines zweiten Modells und sagt nichts Verlässliches über Turnitin aus. Quellen, Zitate und die Regeln der eigenen Hochschule bleiben getrennt zu prüfen.

Der letzte Durchgang gehört dem Menschen. Opus hinterlässt am Ende seiner Antworten gelegentlich eine Checkliste („Vor Einreichung bitte prüfen:..."). Kimi rechnet die Prozentsummen gern noch einmal nach. GPT-5 kopiert Prompt-Klammerhinweise in den Fließtext. DeepSeek bricht gelegentlich mitten im Satz ab. Sonnet schreibt Halbsymbol-Interpunktion in deutschen Text. Alle diese Spuren sind maschinell einfach zu entfernen — aber jemand muss sie bemerken. Dieser Jemand sollt ihr sein.

Wer selbst Benchmarks fährt und von diesen Ergebnissen abweichende Beobachtungen hat: Kommentare willkommen. Besonders interessant sind Fälle, in denen Sonnet oder GPT-5 niedrigere AI-ness-Werte erreicht haben als Opus — diese Diskussion ist noch nicht abgeschlossen.