Is AI Still Lacking Systems Thinking?
I've been experimenting with using AI for two different tasks, letting it "manage" everything on its own . Personal Assistant — I configured Google Calendar, gave it a folder named Personal , and told the AI to manage the documents however it saw fit. Political Database — I provided Neo4j (graph da
Ich habe damit experimentiert, KI fuer zwei verschiedene Aufgaben zu nutzen und sie alles selbststaendig verwalten zu lassen.
Die Idee war einfach: Ich sollte mir keine Gedanken darueber machen muessen, wie die Informationen gespeichert werden, solange die KI die Dinge fuer mich im Blick behalten kann.
Dieses Experiment hat tatsaechlich ganz gut funktioniert, zumindest anfangs.
Ich habe damit die aertzlichen Termine meiner Mutter verwaltet. Die KI erstellte Kalendereintraege und pflegte eine Markdown-Datei (z. B. Mom.md), in der die Namen ihrer Aertzte und deren Fachrichtungen standen, basierend auf dem, was ich sie aufzeichnen liess.
Ich habe es ausserdem fuer TODO-Listen und Besprechungen verwendet.
Alles lief gut, bis die Anzahl der Dateien zu wachsen begann. Dann gab die KI falsche oder unvollstaendige Antworten, weil sie ihre eigenen frueher geschriebenen Notizen nicht durchsuchte.
Anfangs habe ich der KI einfach erklaert, dass der Hauptzweck der Graphdatenbank darin besteht, Beziehungen zwischen Personen auf der Grundlage von Ereignissen und persoenlichen Verbindungen aufzudecken. S3 war zum Speichern von Fakten gedacht, waehrend das Dateisystem noch keinen bestimmten Zweck hatte, das ich aber trotzdem verfuegbar gemacht habe.
Wann immer ich etwas wissen wollte, bat ich die KI, es zu recherchieren und die Informationen nach eigenem Ermessen in diesen Speichersystemen abzulegen.
Dieser Ansatz br remarkabel schnell zusammen. 😅
Die ersten zwei oder drei Fragen schienen gut zu funktionieren. Dann fragte die KI irgendwann:
"Moechtest du, dass ich ein Feld bzw. eine Eigenschaft hinzufuege, um Beziehungen zwischen Personen abzubilden?"
Also oeffnete ich Neo4j, um zu untersuchen, was sie tatsaechlich getan hatte.
Sie hatte die Graphdatenbank wie ein RDBMS modelliert!
Sie behandelte Knoten wie Tabellen und Eigenschaften wie Spalten, hatte aber keine einzige Beziehung verwendet! 😂
Eine kurze Einfuehrung in Graphdatenbanken: Eine Graphdatenbank besteht aus Knoten und Beziehungen. Anders als bei einem RDBMS stellt jeder Knoten einen Datensatz dar, waehrend eine Beziehung ebenfalls ein Datensatz ist, der Knoten miteinander verbindet und beschreibt, wie sie zueinander in Beziehung stehen.
Aus RDBMS-Perspektive entspricht eine Tabelle ungefaehr einer Gruppe von Knoten, die dasselbe Label teilen.
Die Datenbank war voller doppelter Daten. Die Datensaetze waren unvollstaendig und inkonsistent, und die Eigenschaften schienen voellig willkuerlich angelegt worden zu sein.
Im Grunde ein Schema nach dem Prinzip "wie es mir gerade passt".
Jetzt werden Leute, die wissen, wie man KI einsetzt, sagen:
"Nun, offensichtlich. Du hast ihr nicht genuegend detaillierte Anweisungen gegeben."
Aber hier liegt das Problem: Wie viel muessen wir einer KI tatsaechlich sagen?
Wenn wir glauben, dass KI intelligent ist, sollten wir dann wirklich jedes kleine Detail ausschreiben muessen?
Und das fuehrt zu einer breiteren Architekturfrage:
Sollten wir spezialisierte Systeme bzw. Anwendungen bauen, oder sollten wir der KI einfach die noetigen Werkzeuge geben und sie die Arbeit machen lassen?
Wenn dieser Unterschied nicht sofort klar ist, gibt es ein interessantes Paper, das vorschlaegt, dass es die KI uebertreffen kann, wenn sie selbststaendig sucht, anstatt herkoemmliche RAG-Anansaetze zu verwenden:
Is Grep All You Need? How Agent Harnesses Reshape Agentic Search
"Allgemeine Methoden, die Rechenleistung nutzen, sind letztlich am effektivsten."
Vielleicht ist KI einfach noch nicht generalisiert genug. 😛
Ich habe das mit Claude Fable/Opus, Grok Bot und GPT-6.1 Sol ausprobiert (Astra habe ich mich aber noch nicht getraut zu testen 😅).
Die Ergebnisse waren bei allen bemerkenswert aehnlich.
Mein Fazit ist, dass KI darauf trainiert wurde, Probleme zu loesen, und sie diese daher tendenziell auf dem Weg des geringsten Widerstands angeht.
Aber sie wurde nicht wirklich fuers systemische Denken trainiert. (Astra vielleicht?)
Was wir heute haben, ist im Wesentlichen eine automatisierte Engine, die fast jedes Problem loesen kann, das wir ihr vorwerfen, solange sie nicht die Grenzen verletzt, die waehrend des Trainings vorgegeben wurden.
Was wir aber noch nicht haben, ist eine Engine, die aus einer Sammlung von Ad-hoc-Aufgaben ein kohaerentes System machen kann.
Andererseits sehe ich zwar haefig KI Code mit schrecklichem Design produzieren, aber ich sehe auch viele Menschen, die fröhlich Anwendungen mit KI bauen.
Wenn der Spaghetti-Code sich verkaufen laesst, ist das vielleicht gut genug. 🙂
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
I've been experimenting with using AI for two different tasks, letting it "manage" everything on its own.
The idea was simple: I shouldn't have to care how the information is stored, as long as the AI can keep track of things for me.
This one actually worked pretty well, at least initially.
I used it to keep track of my mom's medical appointments. The AI would create calendar events and maintain a Markdown file (e.g., Mom.md ) containing the names of her doctors and their specialties, based on what I asked it to record.
I also used it for TODO lists and meetings.
Everything worked fine until the number of files started growing. Then the AI began giving incorrect or incomplete answers because it wasn't searching through the notes it had previously written.
Initially, I simply told the AI that the primary purpose of the graph database was to discover relationships between individuals, based on events and personal connections. S3 was for storing facts, while the file system didn't have a specific purpose yet, but I made it available anyway.
Whenever I wanted to know something, I'd ask the AI to research it and store the information in those storage systems however it saw fit.
This approach fell apart remarkably quickly. 😅
The first two or three questions seemed to work well. Then, at some point, the AI asked:
"Would you like me to add a field/property to represent relationships between individuals?"
So I opened Neo4j to inspect what it had actually been doing.
It had modeled the graph database like an RDBMS!
It treated nodes as tables and properties as columns, but hadn't used a single relationship! 😂
A quick Graph Database 101: A graph database consists of nodes and relationships. Unlike an RDBMS, each node represents a record, while a relationship is also a record that connects nodes and describes how they relate to each other.
From an RDBMS perspective, a table is roughly equivalent to a group of nodes sharing the same label.
The database was full of duplicate data. Records were incomplete and inconsistent, and properties seemed to have been created completely arbitrarily.
Basically, a "whatever I feel like" schema.
Now, people who know how to use AI might say:
"Well, obviously. You didn't give it sufficiently detailed instructions."
But here's the problem: How much do we actually need to tell an AI?
If we believe AI is intelligent, should we really have to spell out every little detail?
And this leads to a broader architectural question:
Should we build specialized systems/applications, or should we simply give AI the necessary tools and let it do the work?
If that distinction isn't immediately clear, there's an interesting paper proposing that letting AI search on its own can outperform traditional RAG approaches:
Is Grep All You Need? How Agent Harnesses Reshape Agentic Search
"General methods that leverage computation are ultimately the most effective."
Maybe AI just isn't generalized enough yet. 😛
I've tried this with Claude Fable/Opus, Grok Bot, and GPT-6.1 Sol (though I haven't dared to try Astra yet 😅).
The results have been remarkably similar across all of them.
My conclusion is that AI has been trained to solve problems, so it tends to approach them by following the path of least resistance.
But it hasn't really been trained for systems thinking. (Astra, perhaps?)
What we have today is essentially an automated engine capable of solving almost any problem we throw at it, as long as it doesn't violate the constraints imposed during training.
But what we don't yet have is an engine capable of taking a collection of ad hoc tasks and turning them into a coherent system.
Then again, while I frequently see AI producing code with terrible design, I also see plenty of people happily building applications with AI.
If the spaghetti code sells, maybe that's good enough. 🙂