Unlocking Swarm Intelligence with Big Agentic Brain and Claude Code

Veröffentlicht am 21. Oktober • Zuerst erschienen auf nevolin.be

Zuerst erschienen auf nevolin.be. Offenlegung: Ich bin an der Entwicklung von Big Agentic Brain beteiligt, dem hier getesteten Open-Source-System.

KI-Coding-Agenten starten jede Sitzung bei null. Wenn die Lösung im Code steckt, ist das kein Problem. Wenn sie jedoch von etwas abhängt, das der Agent eines Teamkollegen bereits gelernt hat, etwa einer Besonderheit eines Anbieters, einer Konvention aus einem Runbook oder einer Spezifikation, die in einem anderen Repository liegt, kann der Agent alle Dateien lesen und findet sie trotzdem nie.

Big Agentic Brain (BAB) ist ein verteiltes, selbstevolvierendes Gedächtnis für die Agenten einer gesamten Organisation. Es ist selbst gehostet, läuft als ein Container auf einer einzigen SQLite-Datei und spricht MCP. Agenten durchsuchen es zuerst, speichern am Ende, was sie gelernt haben, und reagieren auf die Einträge der anderen, sodass sich die nützlichen davon durchsetzen.

Wir haben gemessen, was das bei Fehlern bewirkt, die Teamwissen erfordern. Sonnet kam mit BAB von 12 auf 79 Prozent, und mit einem einzeiligen Such-zuerst-Hinweis auf 100 Prozent (24/24). Opus steigerte sich von 12 auf 88 Prozent (92 Prozent mit dem Hinweis), Haiku von 0 auf 75 Prozent. Wenn jeder Agent in seiner eigenen isolierten Sandbox arbeitete, erreichte eine gefundene Lösung in 96 bis 100 Prozent der Fälle einen Teamkollegen auf einer anderen Maschine, gegenüber 13 bis 67 Prozent nur mit lokalen Notizen. Und bei Haiku halbierte sich etwa der Kostenanteil des Teams pro verifizierter Lösung, von 0,00672 auf 0,00333 Dollar.

Das basiert auf 1.104 bewerteten Läufen für etwa 29 Dollar, dazu 378 Sitzungen im verteilten Team. Nachfolgend die Kurzfassung der Studie, einschließlich ihrer Schwächen. Der vollständige 21-seitige Bericht ist hier verfügbar, und der Code liegt auf GitHub.

BAB ist ein Open-Source-, selbst gehostetes Gedächtnis für KI-Agenten. Es läuft als ein Container auf einer einzigen SQLite-Datei und spricht MCP, sodass Claude Code und jeder andere MCP-fähige Agent sich damit verbinden kann. Jeder Agent folgt einer einfachen Schleife:

Da es ein einziger Server ist, ist es nicht an einen einzelnen Rechner gebunden. Alle in einer Organisation, die Claude Code oder eine beliebige Kombination von Agenten nutzen, können auf dasselbe BAB verweisen und sich einem Schwarm anschließen. Jede Lösung, die ein Agent findet, wird für alle anderen Agenten auffindbar.

Hier ist einer der Fehler aus unserem Benchmark. Ein Dienst sendet Order-Webhooks an Shipfast, einen Carrier-Aggregator. Seit diesem Monat kommt auf jede Anfrage der Fehler 401 zurück, mit der Meldung "signature verification failed". Die Unit-Tests laufen durch, und der Code sieht plausibel aus:

body = json. dumps ( event ). encode ( " utf-8 " ) signature = hmac. new ( secret. encode ( " utf-8 " ), body, hashlib. sha256 ). hexdigest () headers = { " Content-Type ": " application/json ", " X-Shipfast-Signature ": f " sha256= { signature } ", } Enter fullscreen mode Exit fullscreen mode Die Ursache liegt nicht in diesem Repository. Shipfast hat diesen Header zum 1. September abgeschafft und erwartet nun Shipfast-Signature: t=<unix seconds>,v1=<hmac>, signiert über "<timestamp>." + body. Die einzige Kopie dieser Spezifikation liegt in einem anderen Repository, wo der Agent eines Teamkollegen bereits auf denselben 401-Fehler gestoßen und ihn behoben hatte.

Ein Agent, der am Webhook-Repository arbeitet, kann alle Dateien lesen und die Tests beliebig oft erneut ausführen, ohne das neue Format je zu sehen. Das ist Teamwissen: Eigenheiten von Anbietern, Konventionen aus Runbooks, eine Prüfziffer eines Partners. Es steckt im Kopf von jemandem oder im Repository eines anderen, und KI-Coding-Agenten starten jede Sitzung bei null. BAB ist der Weg, wie die Erkenntnis eines Agenten zum nächsten gelangt.

Wir haben 8 solche Fehlerfamilien wie Shipfast gebaut, bei denen die fehlende Information nur in dem existiert, was der Agent eines Kollegen gelernt hatte. Ohne gemeinsames Gedächtnis steckten die Agenten fest: Sonnet löste 12 Prozent, Haiku 0 Prozent und Opus 12 Prozent. Mit BAB waren es 79, 75 und 88 Prozent, und ein einzeiliger Hinweis, zuerst zu suchen, brachte Sonnet auf 100 Prozent. Bei der Shipfast-Familie selbst verbesserte sich Sonnet von 0 von 3 auf 3 von 3.

Anteil der behobenen Teamwissen-Fehler, 24 Läufe pro Zelle (8 Fehlerfamilien mit je 3 Durchläufen), bewertet durch verdeckte Tests.

Ein größeres Modell ist kein Ersatz: Opus, das größte der drei Modelle, löste dieselben 12 Prozent wie Sonnet ohne Gedächtnis. Für Sonnet betrug der Gewinn durch das standardmäßige BAB +67 Punkte (95-Prozent-Konfidenzintervall +33 bis +92).

Echte Teams teilen sich keinen Laptop. Deshalb gaben wir in einer dritten Runde jedem Agenten seine eigene isolierte Sandbox und seinen eigenen Arbeitsbereich als Stellvertreter für seine eigene Maschine, ohne gemeinsame Dateien. Jeder Agent löste zunächst einen Fehler, dessen Antwort dokumentiert war. Dann wurde das Gedächtnis eingefroren, und ein verwandter Fehler in einem anderen Repository ging an einen Teamkollegen. Wir verglichen kein Gedächtnis, die eigenen lokalen Notizen jedes Agenten und lokale Notizen plus ein gemeinsames BAB für das Team.

Wie oft ein Teamkollege einen verwandten Fehler in einem anderen Repository behob, nachdem ein anderer Agent den ersten auf seiner eigenen Maschine gelöst hatte.

Lokale Notizen sind hervorragend für den Agenten, der sie geschrieben hat: Bei einer Wiederholung seines eigenen Problems verbesserte sich Sonnet von 58 auf 100 Prozent. Aber sie bleiben auf einer Maschine. Mit gemeinsamem BAB behoben die Teamkollegen den Fehler in 96 bis 100 Prozent der Fälle, gegenüber 13 bis 67 Prozent nur mit lokalen Notizen. Haiku, das kleinste Modell, löste den Fehler seines Teamkollegen mit BAB in 96 Prozent der Fälle, zuverlässiger als Sonnet ganz ohne Gedächtnis (67 Prozent).

Das Lesen und Schreiben von Gedächtnis kostet Tokens, daher ist eine einzelne Sitzung mit BAB nicht günstiger. Wofür ein Team zahlt, sind Lösungen, die ankommen. Zählt man jede Sitzung, einschließlich der ersten Löser und der Kosten für das Einspeichern des Gelernten, ergab das gemeinsame BAB die niedrigsten Kosten pro verifizierter Lösung für Sonnet und Haiku. Bei Haiku waren es etwa halb so hohe Kosten wie ohne Gedächtnis.

API-Kosten pro verifizierter Lösung, gezählt über jede Sitzung, die ein Team ausgeführt hat: die ersten Löser, die Kosten für das Einspeichern des Gelernten und die Teamkollegen. Niedrigster Wert pro Modell fett gedruckt.

Tool-Definitionen werden mit jeder Anfrage gesendet, ob genutzt oder nicht. BABs volles Toolset fügte jeder Anfrage 8.598 Tokens hinzu. Ein schlankes Setup mit nur bab_search, bab_learn und bab_react fügt 648 hinzu und behielt bei Teamwissen-Aufgaben den größten Teil des Nutzens (75 Prozent bei Sonnet) bei dem 1,18-fachen der Kosten pro Lauf ohne Gedächtnis, gegenüber dem 1,51-fachen für das volle Toolset.

Aus der Studie wurden direkt Änderungen für BAB:

Agenten lösten eingesäte Fehler in kleinen Benchmark-Repositories und wurden anhand verdeckter Tests bewertet. Wir führten Claude Sonnet 5.5, Haiku 5.5 und Opus 5.5 aus: 1.104 bewertete Läufe am 19. Oktober 2026 für etwa 29 Dollar API-Kosten, dazu 378 bewertete Sitzungen in der verteilten Teamrunde am 21.

Oktober für 17,41 Dollar. Die Erinnerungen wurden von Agenten aufgezeichnet, die die Quellaufgaben gelöst hatten, nicht von Hand geschrieben, und die Aufgaben sowie die Hypothesen für die späteren Runden wurden vor jedem kostenpflichtigen Lauf eingefroren. Die Agenten liefen in einer minimalen MCP-Agent-Schleife und nicht in Claude Code selbst.

Eine Prüfung der Transkripte der verteilten Teamrunde ergab keinen Zugriff auf die verdeckten Tests und keinen Weg am eingefrorenen Gedächtnis vorbei.

Fußnote: Bei 12 einfachen Fehlern, die der Code bereits selbst erklärt, löste jedes Setup jede Aufgabe (108/108 Sonnet-Läufe, 180/180 Haiku-Läufe), sodass das Gedächtnis dort nichts beitrug und bei Sonnet das 1,50-fache pro Lauf kostete.

📄 Der vollständige Bericht (PDF, 21 Seiten): Methodik, jede Bedingung und jedes Modell, die Statistiken, Retrieval-Tests und Abweichungen.

Falls Ihre Ergebnisse anders ausfallen als unsere, würde ich gerne davon hören.