ai newsDo., 15. Okt.
EilmeldungMeta and Apple team up to make Muse AI models run better on Macs

Anleitung: So prüfen Sie, ob KI-Besucher auf Ihrer Website wirklich konvertieren

Viele Analytics-Daten deuten auf funktionierende Zugriffe durch ChatGPT und andere KI-Assistenten hin, ohne zu zeigen, ob diese Besucher tatsächlich zu Nutzern werden. Ein Sechs-Schritte-Check hilft, die Conversion realistisch zu bewerten.

dev.toDonnerstag 11:00 · 15.10.DE6 Min. Lesezeit
Bild: dev.to

Ein sechsschrittiger Check für Traffic von ChatGPT und anderen KI-Assistenten, aufgebaut auf den Zahlen, die Gründer unter meinem letzten Beitrag geteilt haben.

Eine Gründerin, die unter meinem letzten Beitrag kommentiert hatte, hatte einen Funnel, der kaputt aussah. Über sieben Tage zeigte ihre Analytics 206 begonnene Anmeldungen und 0 abgeschlossene Signups. Solche Zahlen führen einen direkt in den Authentifizierungscode.

Der Code war in Ordnung. Von 205 Klicks auf den Google-Anmeldebutton innerhalb von vier Tagen kamen etwa 190 aus Deutschland. Jeder Klick stammte von einem anderen Besucher. Viele meldeten Browser- und Betriebssystem-Kombinationen, die in der Praxis nicht existieren, etwa Safari unter Linux. Sobald die Gründerin diesen Traffic ausschloss, sanken die Besucher über sieben Tage von 358 auf rund 85, und die begonnenen Anmeldungen sanken von 206 auf 1. Dieser eine verbleibende Start stammte von ihrem eigenen Test.

Nichts im Funnel war kaputt. Die Besucher waren nicht echt, und jede in dieser Woche berechnete Conversion Rate hätte einen falschen Nenner gehabt.

Mein letzter Beitrag argumentierte, dass KI-Referrals danach beurteilt werden sollten, was sie entstehen lassen. Mehrere Leser antworteten mit ihren eigenen Daten, was nützlicher war als alles, was ich geschrieben hatte. Hier ist daraus eine Methode, die man an einem Nachmittag einrichten und einen Monat laufen lassen kann.

Mach das, bevor du dir eine Quelle ansiehst. Wenn Müll in deinen Gesamtwerten steckt, erbt jeder von dir berechnete Wert ihn.

Schließe diese aus, notiere, was du ausgeschlossen hast und warum, und bewahre die Zahlen davor und danach auf.

KI-Crawler wie GPTBot oder PerplexityBot sind ein separates Thema. Sie führen dein Analytics-Skript meist nicht aus, also zähle sie in den Server-Logs als Crawl, niemals als Besucher.

Eine andere Gründerin teilte eine 30-Tage-Aufteilung ihres Produkts. Besucher von KI-Assistenten registrierten sich zu 33,7 Prozent. Organische Google-Besucher registrierten sich zu 24,0 Prozent. Das ist ein echter Unterschied, und genau die Art von Zahl, die ich mir von Lesern erhofft hatte.

Das Detail, dem ich mehr Aufmerksamkeit schenken würde: 877 ihrer 936 ChatGPT-Besuche kamen mit leerem Referrer an. Sie waren nur deshalb als ChatGPT erkennbar, weil die Links utm_source=chatgpt.com enthielten. Gruppiert man allein nach Referrer, schrumpft ChatGPT auf höchstens 59 Besuche, während die anderen 877 bei Direct landen.

Baue dein KI-Segment deshalb auf beiden Feldern auf. Speichere in GA4, Plausible, PostHog oder Fathom einen Filter, bei dem source, referrer oder utm_source chatgpt, perplexity, gemini, copilot oder claude enthält. Öffne dann fünf dieser Sessions und prüfe, ob sie wie Menschen aussehen: eine Landingpage, etwas Zeit auf der Seite, ein Event. Ein Wert in der Source-Spalte ist ein Hinweis. Er ist kein Beweis.

Eine Lücke, die sich hier nicht schließen lässt. Google zählt Klicks aus AI Overviews und AI Mode innerhalb des normalen Suchtyps "Web" in der Search Console, sodass sie sich nicht herausfiltern lassen. Führe sie als Google.

Ein dritter Kommentator gab mir den saubersten Test, den ich kenne. Wähle eine einzige Aktion, die ein Besucher in seiner ersten Session ausführen kann, etwa eine E-Mail-Erfassung, das Öffnen einer Vorschau oder den Start eines Checkouts. Nur eine. Beobachte dann diese Aktion neben deiner Zahl der KI-Referrals.

Steigen die KI-Referrals und diese Aktion bleibt flach, lautet deine Antwort Nein. Diese Besucher tun bisher nichts, so gut die Traffic-Kurve auch aussieht.

Derselbe Kommentator fügte einen Check hinzu, den ich inzwischen zuerst ausführe: Schau dir an, auf welche Seite ChatGPT tatsächlich verlinkt. Es ist oft nicht die Seite, die du wählen würdest. Wenn die Landingpage den nächsten Schritt nicht offensichtlich macht, sagt dir eine flache Aktionszahl möglicherweise mehr über die Seite als über die Besucher.

Eine Aktion, nicht fünf: Bei kleinen Zahlen geben dir fünf Metriken fünf Gelegenheiten, Rauschen für einen Erfolg zu halten.

Eine Conversion Rate allein sagt sehr wenig aus. 33,7 Prozent wirken stark neben 24,0 Prozent. Neben 45 Prozent würden sie gewöhnlich aussehen.

Organischer Google-Traffic ist die richtige Basislinie, weil er der engste Verwandte von KI-Traffic ist: Jemand hat eine Frage gestellt und auf ein Ergebnis geklickt. Gleicher Zeitraum, gleiche Aktion, gleiche Müllfilter auf beiden Gruppen.

Die Gründerin mit dem Wert von 33,7 Prozent bemerkte, dass die meisten ihrer ChatGPT-Besuche von Handys kamen. Das ist wichtig. Mobil- und Desktop-Besucher konvertieren auf den meisten Seiten unterschiedlich, und die Richtung hängt vom Produkt ab. Wenn dein Google-Traffic überwiegend von Desktops und dein ChatGPT-Traffic überwiegend von Mobilgeräten stammt, könnte ein Teil des Unterschieds am Gerät liegen und nicht am Assistenten.

Schneide den Vergleich in vier Felder: KI auf dem Handy, KI auf dem Desktop, Google auf dem Handy, Google auf dem Desktop. Gewinnt KI weiterhin innerhalb jeder Gerätegruppe, hast du etwas, mit dem sich etwas anfangen lässt. Verschwindet der Unterschied, hast du dich davor bewahrt, deine Positionierung wegen eines Handy-Effekts neu zu schreiben.

Eine Woche sagt sehr wenig aus. Der Fall 206/0 zeigt, wie eine einzige schlechte Woche ein Dashboard übernehmen kann. Dreißig Tage geben dir genug Zeilen, um zu sehen, ob sich die Aktion mit den Referrals bewegt, und Zeit, eine Sache zu ändern, meist die Landingpage.

Während du wartest, füge dem Signup oder Checkout ein Feld "Wie hast du zum ersten Mal von uns gehört?" hinzu, mit ChatGPT, Perplexity, Gemini, Microsoft Copilot und Claude als getrennten Optionen. Manche KI-Besucher kommen ohne jeden Referrer und ohne UTM an, und Nachfragen ist der einzige Weg, sie zu finden. Bewahre diese Antworten in einer eigenen Spalte auf. Wenn ein Kunde sagt "Ich habe euch auf Perplexity gefunden", ist das ein echter Beleg, aber er ist schwächer als eine getrackte Session, und wer beides vermischt, bläht seine Gesamtsumme auf.

Meine Einschätzung nach diesen Kommentaren: Die meisten Behauptungen kleiner Websites, KI-Traffic konvertiere erstaunlich gut oder gar nicht, wurden nie überprüft. Sowohl der Fake-Traffic-Fall als auch der Fall mit dem leeren Referrer hätten aus unbereinigten Daten eine selbstbewusste, falsche Antwort geliefert.

Ich habe meine Version dieser Routine als The AI Referral Ledger verpackt. Es kostet 19 Dollar und besteht nur aus Dateien: kein SaaS, kein Tracking-Skript, kein Dashboard.

Du bekommst einen 11-seitigen PDF-Leitfaden, ein Ledger als CSV und eine Markdown-Datei mit dem Copy-Paste-Formularfeld und einer wöchentlichen Checkliste. Der Leitfaden behandelt den Filter auf source, referrer und utm_source, den Fünf-Sessions-Gesundheitscheck, warum die Search Console Klicks aus AI Overviews nicht trennen kann, und was die von den Anbietern dokumentierten Bots über sich selbst sagen. Jede dem KI-Traffic zugeordnete Zeile erhält ein Label: confirmed (deine Analytics zeigt die KI-Session und die Aktion), declared (der Kunde hat es dir gesagt) oder assisted (KI war Teil des Weges, aber nicht der letzte sichtbare Schritt).

Das Sheet hat Spalten für die Landingpage, die Frage, die der Kunde in den Assistenten getippt hat, die Aktion und ihren Wert, damit du siehst, welche Seiten irgendwohin führen. Woche 1 dauert etwa eine Stunde, danach etwa 30 Minuten pro Woche.

Was es nicht tut: Es findet keinen Fake-Traffic für dich und erstellt keine Geräte-Aufteilung. Das sind Filter, die du selbst in deinem Analytics-Tool setzt, wie oben beschrieben. Es erhöht auch nicht deinen KI-Traffic. Es zeichnet auf, was bereits passiert, und deine Zahlen können klein sein.

Noch unsicher, ob KI-Assistenten dich überhaupt erwähnen? Beginne mit The 5-Prompt Citation Snapshot. Es ist kostenlos: ein Starter-Log für fünf feste Prompts über verschiedene Engines hinweg, mit getrennten Zellen für "named" und "cited". Wenn dich niemand nennt, gibt es noch gar keine Referral-Traffics zu messen.

Wenn du eine solche Aufteilung wie die obigen durchgeführt hast, würde ich sie gerne sehen. Haben KI-Besucher Google weiterhin geschlagen, nachdem du nach Gerät aufgeteilt hattest?

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

A six-step check for ChatGPT and other AI-assistant traffic, built from the numbers founders shared under my last post.

A founder who commented on my last post had a funnel that looked broken. Over seven days their analytics showed 206 sign-in starts and 0 completed signups. Numbers like that send you straight into the auth code.

The code was fine. Of 205 clicks on the Google sign-in button in four days, about 190 came from Germany. Each one was a different visitor. Many reported browser and OS pairs that don't exist in practice, like Safari on Linux. Once the founder excluded that traffic, 7-day visitors dropped from 358 to roughly 85, and sign-in starts dropped from 206 to 1. That single remaining start was their own test.

Nothing in the funnel was broken. The visitors weren't real, and any conversion rate calculated that week would have had a fake denominator.

My last post argued that AI referrals should be judged by what they turn into. Several readers answered with their own data, which was more useful than anything I wrote. Here it is as a method you can set up in an afternoon and leave running for a month.

Do this before you look at any source. If junk is in your totals, every rate you compute inherits it.

Exclude those, note what you excluded and why, and keep the before and after numbers.

AI crawlers like GPTBot or PerplexityBot are a separate issue. They mostly don't run your analytics script, so count them in server logs as crawl, never as visitors.

Another founder shared a 30-day split from their product. AI-assistant visitors signed up at 33.7%. Google organic visitors signed up at 24.0%. That's a real gap, and the kind of number I hoped readers would find.

The detail I'd pay more attention to: 877 of their 936 ChatGPT visits arrived with an empty referrer. They were only identifiable as ChatGPT because the links carried utm_source=chatgpt.com. Group by referrer alone and ChatGPT shrinks to 59 visits at most, with the other 877 sitting in Direct.

So build your AI segment on both fields. In GA4, Plausible, PostHog or Fathom, save one filter where source, referrer or utm_source contains chatgpt, perplexity, gemini, copilot or claude. Then open five of those sessions and check that they look like people: a landing page, some time on site, an event. A value in the source column is a hint. It isn't proof.

One gap you can't close here. Google counts clicks from AI Overviews and AI Mode inside the normal "Web" search type in Search Console, so they can't be pulled out. Log them as Google.

A third commenter gave me the cleanest test I've seen. Choose one action a visitor can take in their first session, such as an email capture, a preview open or a checkout start. Only one. Then watch it next to your AI referral count.

If AI referrals rise and that action stays flat, your answer is no. Those visitors aren't doing anything yet, however good the traffic chart looks.

The same commenter added a check I now run first: look at which page ChatGPT actually links to. It's often not the page you would pick. If the landing page doesn't make the next step obvious, a flat action count may be telling you about the page rather than the visitor.

One action, not five: with small numbers, five metrics give you five chances to mistake noise for a win.

A conversion rate on its own says very little. 33.7% looks strong next to 24.0%. Next to 45% it would look ordinary.

Google organic is the right baseline because it's the closest cousin of AI traffic: someone asked a question and clicked a result. Same date range, same action, same junk filters on both groups.

The founder with the 33.7% figure noticed that most of their ChatGPT visits came from phones. That matters. Phone and desktop visitors convert differently on most sites, and the direction depends on the product. If your Google traffic is mostly desktop and your ChatGPT traffic is mostly mobile, part of the gap might be the device and not the assistant.

Cut the comparison into four cells: AI on phone, AI on desktop, Google on phone, Google on desktop. If AI still wins inside each device group, you have something worth acting on. If the gap disappears, you've saved yourself from rewriting your positioning around a phone effect.

A week tells you very little. The 206/0 case shows how one bad week can take over a dashboard. Thirty days gives you enough rows to see whether the action moves with referrals, and time to change one thing (usually the landing page).

While you wait, add a "How did you first hear about us?" field to signup or checkout, with ChatGPT, Perplexity, Gemini, Microsoft Copilot and Claude as separate options. Some AI visitors arrive with no referrer and no UTM at all, and asking is the only way to find them. Keep those answers in their own column. A customer saying "I found you on Perplexity" is real evidence, but it is weaker than a tracked session, and mixing the two inflates your total.

My view after these comments: most small-site claims that AI traffic "converts amazingly" or "doesn't convert" were never checked. Both the fake-traffic case and the empty-referrer case would have produced a confident, wrong answer from uncleaned data.

I packaged my version of this routine as The AI Referral Ledger. It costs $19 and it's files only: no SaaS, no tracking script, no dashboard.

You get an 11-page PDF guide, a ledger CSV and a markdown file with the copy-paste form field and a week-by-week checklist. The guide covers the source, referrer and utm_source filter, the five-session sanity check, why Search Console can't separate AI Overviews clicks, and what the vendor-documented bots say they do. Every AI-attributed row gets one label: confirmed (your analytics shows the AI session and the action), declared (the customer told you) or assisted (AI was part of the journey but not the last step you can see). The sheet has columns for landing page, the question the customer typed into the assistant, the action and its value, so you can see which pages lead anywhere. Week 1 takes about an hour, then about 30 minutes a week.

What it doesn't do: it won't spot fake traffic for you, and it doesn't run the device split. Those are filters you set in your own analytics tool, as described above. It won't increase your AI traffic either. It records what is already happening, and your numbers may be small.

Not sure yet whether AI assistants mention you at all? Start with The 5-Prompt Citation Snapshot. It's free: a starter log for five fixed prompts across engines, with separate cells for "named" and "cited". If nobody names you, there's no referral traffic to measure yet.

If you've run a split like the ones above, I'd like to see it. Did AI visitors still beat Google once you split by device?

Originaltitel: 206 Sign-in Starts, 0 Signups: How to Check Whether AI Visitors Actually ConvertQuelle: dev.to (dev.to). Original öffnen