KI-Agent schreibt Marketingtexte: Entwickler zwingt ihn zur Faktenprüfung
Ein Solo-Entwickler lässt einen KI-Agenten seine Marketingposts für die App Scribo schreiben, bemerkte aber, dass die Inhalte nie auf Wahrheit geprüft werden. Beim Kane CLI Hack Day von TestMu AI testete er die eigenen Posts und stieß auf zwei Probleme.
Ich habe eine App namens Scribo allein entwickelt. Um Zeit zu sparen, lasse ich einen AI-Agenten meine Marketingposts schreiben. Das geht schnell. Aber heute ist mir etwas aufgefallen: Er prüft nie, ob das, was er sagt, auch stimmt.
Ich habe den Tag beim Kane CLI Hack Day von TestMu AI verbracht und habe deshalb meine eigenen Posts mit Kane CLI getestet. Dabei fand ich zwei Probleme, und beide betrafen meine eigene App.
Mein Agent hatte einen Threads-Post geschrieben und mit meiner Website verlinkt. Sah alles gut aus. Kane öffnete den Post in einem echten Chrome-Browser und klickte auf den Link.
Der App-Store-Button auf meiner Website ändert das Campaign-Tag. Der Post schickt Besucher mit ct=threads-oct24, und der Button ersetzt das durch ct=site-en-hero. Dadurch hätte jeder Install aus Threads so ausgesehen, als käme er von meiner Website.
Es gab keine Fehlermeldung. Nichts ist abgestürzt. Die Zahl war einfach falsch.
Und das ist der beunruhigende Teil. Mein Agent lernt aus diesen Zahlen. Mit diesem Bug wäre er zu dem Schluss gekommen, dass Threads nicht funktioniert, und hätte dort aufgehört zu posten.
Das zweite Problem war die Zeit. Ich habe Scribo in diesem Monat neu aufgebaut. Früher war es eine App zum handschriftlichen Vokabellernen. Jetzt ist es eine App, die Videos und Artikel auf dein Sprachniveau umschreibt.
Meine alten Posts sind noch online. Dort steht immer noch „ein Vokabelheft, das du von Hand beschreibst“. Leute finden sie weiterhin, öffnen den App Store und sehen eine andere App.
Deshalb habe ich Omni Verify gebaut, eine Prüfstelle zwischen meinem Agenten und dem Publish-Button.
Beim Link-Bug ließ Kane den ersten Entwurf durchfallen (KR-63). Der Agent verlinkte dann direkt zum App Store mit dem richtigen Tag, und Kane ließ ihn durchgehen (KR-68). Anschließend klickte ich auf Re-verify, Kane spielte den Test erneut durch, und er bestand wieder (KR-85). Erst dann wurde der Publish-Button freigeschaltet.
Dieser Post ging heute durch diese Prüfstelle heraus. https://www.threads.com/@scribo.voca/post/De4-yPnATF5
Zu den alten Posts: Kane prüfte heute sechs Aussagen aus drei meiner alten Posts gegen meine Website. Drei bestanden. Drei scheiterten, alle betrafen das Thema Handschrift. Der Agent schlägt jeweils eine neue Version des Posts vor oder die Löschung. An Threads selbst ändert er nichts eigenmächtig.
Der Agent merkt sich das auch. Die drei durchgefallenen Aussagen wandern in eine Memory-Datei als „retired“. Wenn er den nächsten Post schreibt, darf er sie nicht mehr verwenden. Ich habe das getestet, indem ich ihm zwei Entwürfe mit der alten Aussage gab. Er lehnte beide ab.
Kane hat nicht nur meine Prüfungen ausgeführt. Ich gab ihm die Kampagne, und es entwarf seine eigenen Tests, wobei ich jeden Schritt freigegeben habe. Zudem kartografierte es meine Seite mit Kane Explore, bevor der Agent etwas schrieb.
Perfekt war es nicht. Einmal behauptete Kane, ein Satz sei nicht auf der Seite, obwohl er dort stand. Eine einfache Ja-oder-Nein-Frage pro Formulierung löste das Problem. Das habe ich ebenfalls im Repo notiert.
Ein Bestehen bedeutet nicht mehr Installierungen. App Store Connect habe ich noch nicht geprüft. Es bedeutet, dass der Post bei Veröffentlichung die Wahrheit sagt.
Das ist für mich der entscheidende Punkt. Bevor mein Agent aus einem Post lernt, möchte ich wissen, dass der Post ehrlich war und die Zahlen stimmen werden.
AI kann die Versprechen schreiben. Kane prüft, ob das Produkt sie einhält.
Demo (2 Min.) https://www.loom.com/share/428499f73e57490c818743d7e2de3d77 Code und jeder Kane-Run https://github.com/DainoJung/omni-verify
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
I build an app called Scribo by myself. To save time, I let an AI agent write my marketing posts. It's fast. But today I noticed something. It never checks if what it says is true.
I spent the day at Kane CLI Hack Day by TestMu AI, so I tested my own posts with Kane CLI. I found two problems, and both were on my own app.
My agent wrote a Threads post and linked it to my website. Looks fine. Kane opened the post in a real Chrome browser and clicked the link.
The App Store button on my website changes the campaign tag. The post sends people with ct=threads-oct24, and the button replaces it with ct=site-en-hero. So every install from Threads would have looked like it came from my website.
There was no error. Nothing crashed. The number was just wrong.
And that's the scary part. My agent learns from these numbers. With this bug, it would have decided Threads doesn't work and stopped posting there.
The second problem was time. I rebuilt Scribo this month. It used to be a handwriting vocabulary app. Now it's an app that rewrites videos and articles at your level.
My old posts are still online. They still say "a vocabulary notebook you write by hand." People still find them, open the App Store, and see a different app.
So I built Omni Verify, a gate between my agent and the publish button.
For the link bug, Kane failed the first draft (KR-63). The agent linked straight to the App Store with the right tag, and Kane passed it (KR-68). Then I clicked Re-verify, Kane replayed the test, and it passed again (KR-85). Only then did the publish button unlock.
This post went out through that gate today. https://www.threads.com/@scribo.voca/post/De4-yPnATF5
For the old posts, Kane checked six promises from three of my old posts against my website today. Three passed. Three failed, all about handwriting. The agent suggests a new version of each post, or taking it down. It doesn't change anything on Threads by itself.
The agent also remembers. The three failed promises go into a memory file as "retired." When it writes the next post, it can't use them. I tested this by giving it two drafts with the old promise. It refused both.
Kane didn't only run my checks. I gave it the campaign, and it designed its own tests, with me approving each step. It also mapped my site with Kane Explore before the agent wrote anything.
It wasn't perfect. Once, Kane said a sentence wasn't on the page when it was. Asking it a simple true or false for each phrase fixed it. I wrote that down in the repo too.
A pass doesn't mean more installs. I haven't checked App Store Connect yet. It means the post tells the truth when it goes out.
That's the point for me. Before my agent learns from a post, I want to know the post was honest and the numbers will be right.
AI can write the promise. Kane checks if the product keeps it.
Demo (2 min) https://www.loom.com/share/428499f73e57490c818743d7e2de3d77 Code and every Kane run https://github.com/DainoJung/omni-verify