Vibe Coding brachte das KI-Produkt schnell online, in der Produktion zeigten sich die Schwächen
Mit Hilfe von KI ging es beim Aufbau von Architektur, Auth, Payments und Cloud-Deployment rasch voran, der Launch war unkompliziert. Der zuverlässige Betrieb stellte sich als schwieriger heraus, denn der generierte Code hatte mehrere Lücken nicht abgedeckt.
Die Entwicklung mit KI hat Cernalo schnell vorangebracht: Architektur, Authentifizierung, Zahlungen, Desktop-Paketierung, Cloud, sogar eine Windows-App im Microsoft Store.
Der Livegang war der einfache Teil. Zuverlässig zu bleiben war es nicht.
Hier sind vier Lücken, die KI-generierter Code für mich nicht aufgedeckt hat.
Hunderte Tests können erfolgreich sein, während echte Kundendialoge scheitern. Die Mikrofonnutzung, der System-Tray, das Fenstermanagement und eine tatsächliche Funktion von Quit unter Windows brauchten eine Validierung, die über Unit-Tests hinausging. Teste den vollständigen Weg, den ein Kunde nimmt.
Ich bin auf spawn EPERM gestoßen und habe fast die Paketierung „repariert“. Die eingeschränkte Testumgebung blockierte Node-Kindprozesse. FFmpeg funktionierte, wenn es direkt ausgeführt wurde. Erst fragen: Code, Abhängigkeit, Betriebssystem oder Testumgebung?
Einem AppX-Paket fehlten die neuesten kompilierten Änderungen. Repository aktuell, Tests grün, Artefakt veraltet. Den Release-Kandidaten neu bauen und gegen echte Workflows verifizieren. Ein erfolgreicher Build ist kein erfolgreicher Release.
HTTP 200 beweist nicht, dass Abonnements, Webhooks, Berechtigungen und Authentifizierung alle funktionieren. Kostenpflichtige Produkte benötigen Observability für den Geschäftspfad, nicht nur für den Dienstpfad.
Ich gehe von einem Feature-first zu einem Evidence-first-Ansatz über: Release-Kandidaten einfrieren, exakte Artefakte nachverfolgen, echte Nutzerflüsse validieren und KI-Fixes als Hypothesen behandeln, bis sie bewiesen sind.
Vibe Coding bringt dich von der Idee zum funktionierenden Produkt. Production Engineering bringt dich vom funktionierenden zum verlässlichen Produkt.
Wenn du mit KI entwickelst: Was war dein härtester Sprung vom Prototyp zur Produktion?
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Building with AI made Cernalo move fast: architecture, auth, payments, desktop packaging, cloud, even a Windows app on the Microsoft Store.
Going live was the easy part. Keeping it reliable was not.
Here are four gaps AI-generated code didn't catch for me.
Hundreds of tests can pass while real customer journeys fail. Microphone use, system tray, window management, and actual Quit on Windows needed validation beyond unit tests. Test the full path a customer takes.
I hit spawn EPERM and almost "fixed" packaging. The restricted test environment was blocking Node child processes. FFmpeg worked when run directly. Ask first: code, dependency, OS, or test environment?
One AppX package was missing latest compiled changes. Repo current, tests green, artifact old. Rebuild and verify the release candidate against real workflows. A successful build is not a successful release.
HTTP 200 doesn't prove subscriptions, webhooks, entitlements, and auth all work. Paid products need observability for the business path, not only the service path.
I'm moving from feature-first to evidence-first: freeze release candidates, track exact artifacts, validate real user flows, and treat AI fixes as hypotheses until proven.
Vibe coding gets you from idea to working product. Production engineering gets you from working to dependable.
If you're building with AI, what's been your hardest jump from prototype to production?