Checkliste: So prüfen Sie, ob Ihre Website in KI-Suchen bei ChatGPT, Perplexity und Google AI Overviews auftaucht
Wenn KI-Suchmaschinen eine Website nicht nennen, liegen die Ursachen oft im Detail: blockierte Crawler, Seiten, die erst durch JavaScript Inhalt erhalten, oder ein versehentliches noindex im Template. Eine Checkliste hilft, technische Hürden zu erkennen und zu beheben.
Man kann eine KI-Engine nicht zwingen, einen zu zitieren. Man kann aber sicherstellen, dass sie technisch nichts davon abhält, die Seite abzurufen, zu lesen und zu zitieren. Dieser Teil ist überprüfbar. Arbeite diese Liste der Reihe nach durch, denn jeder Schritt baut auf dem vorherigen auf.
"KI-Suche" ist nicht ein einziger Crawler. Jeder Anbieter betreibt separate User Agents für Suche, Training und Live-Anfragen von Nutzern, und die robots.txt behandelt jeden davon einzeln.
Lege zuerst deine Richtlinie fest. Eine übliche ist, die Such-Bots zuzulassen und über die Trainings-Bots separat zu entscheiden.
Öffne https://yoursite.com/robots.txt und lies sie sorgfältig. Die Regel, an der viele scheitern: Ein Crawler folgt nur der Gruppe, die seinen User Agent am spezifischsten benennt. Wenn keine Gruppe ihn namentlich erwähnt, greift er auf User-agent: * zurück. Die beiden Gruppen werden nicht zusammengeführt.
User-agent: * Disallow: /admin Disallow: /checkout User-agent: GPTBot Allow: / weist GPTBot Zugriff auf /admin und /checkout zu, weil die GPTBot-Gruppe die *-Gruppe für diesen Bot ersetzt. Wenn du benannte Gruppen für KI-Bots hinzufügst, wiederhole deine Disallow-Zeilen in jeder dieser Gruppen.
Der umgekehrte Fehler ist genauso verbreitet: ein pauschales Disallow: / unter einem benannten Bot, vor Jahren aus einem "Blockiere KI"-Snippet kopiert, das nun auch den Such-Bot blockiert, den man eigentlich will. Prüfe auf:
Die robots.txt ist eine Bitte. Was den Zugriff tatsächlich durchsetzt, ist dein CDN oder deine WAF. Eine Seite kann OAI-SearchBot in der robots.txt erlauben und ihm trotzdem einen 403 oder eine Challenge-Seite ausliefern.
Cloudflare hat beispielsweise im Juli 2025 angekündigt, dass neue Domains KI-Crawler standardmäßig blockieren, sofern der Besitzer sie nicht erlaubt, und andere CDNs haben ähnliche Schalter. Prüfe die Bot-Einstellungen deines CDNs, die User-Agent- und Länderregeln deiner WAF sowie eventuelle Rate Limits, die eine Häufung von Crawler-Anfragen auslösen könnte.
curl -s -o /dev/null -w "%{http_code} \n " \ -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \ https://yoursite.com/ Dies testet nur Regeln, die auf dem User-Agent-String basieren. Echte Crawler kommen auch aus veröffentlichten IP-Bereichen (OpenAI und Perplexity veröffentlichen beide JSON-Dateien dazu), und manche WAFs prüfen diese Bereiche. Deine Server-Logs sind der eigentliche Beweis. Durchsuche sie nach OAI-SearchBot, PerplexityBot und Claude-SearchBot und schau dir die Statuscodes an, die sie erhalten haben.
curl -s https://yoursite.com/pricing | grep -i "your exact pricing sentence" Wenn das grep nichts findet, du den Satz aber im Browser sehen kannst, wird der Inhalt clientseitig gerendert. Lösungen, grob nach Aufwand sortiert:
Bei Google ist die Anforderung klar formuliert. Um als unterstützender Link in AI Overviews oder AI Mode zu erscheinen, muss eine Seite indexiert sein und mit einem Snippet in der Suche erscheinen dürfen. Google sagt außerdem, dass es darüber hinaus keine zusätzlichen technischen Anforderungen gibt.
Achte also auf die Dinge, die die Eignung stillschweigend aufheben:
Nutze das URL-Prüfungstool in der Google Search Console, um zu sehen, was Googlebot tatsächlich erhalten hat. Mache dasselbe in den Bing Webmaster Tools. Bings Index steckt hinter der Bing-Suche und Microsoft Copilot, und du kannst deine verifizierten Websites mit wenigen Klicks aus der Search Console importieren.
Sobald die Technik funktioniert, ist die Frage, ob es einen Satz gibt, der sich zitieren lässt. Answer Engines ziehen Passagen heraus, nicht ganze Seiten. Also:
Nichts davon ist KI-spezifisch. Genau das hat über Jahre Featured Snippets gewonnen, weshalb ich AEO und GEO als sorgfältig gemachtes SEO behandle und nicht als separaten Kanal.
Google sagt, dass man für das Erscheinen in KI-Features kein spezielles Schema benötigt. Strukturierte Daten helfen Maschinen trotzdem zu erkennen, worum es auf einer Seite geht, solange sie zum sichtbaren Text passt. Für die meisten Produktseiten bedeutet das:
Validiere mit Googles Rich Results Test. Markup, das Dinge behauptet, die die Seite nicht zeigt, ist schlimmer als gar keins.
llms.txt ist ein vorgeschlagener Standard, eine Markdown-Datei im Wurzelverzeichnis deiner Website, die Sprachmodellen deine wichtigsten Seiten erschließt. Sie kostet kaum etwas, aber erwarte nicht, dass sie Rankings oder Zitationen verändert. Google sagt, dass man keine neuen maschinenlesbaren oder KI-Textdateien braucht, um in seinen KI-Features zu erscheinen. Wenn du eine hinzufügst, halte sie kurz und korrekt.
Ich habe Siteory gebaut, um viele dieser Prüfungen in einem Durchlauf auszuführen. Es crawlt eine begrenzte Stichprobe deiner öffentlichen Seiten, prüft robots-Regeln, Sitemaps, Canonicals, JSON-LD, dünnen Text und llms.txt und erklärt jeden Befund samt Lösungsvorschlag. Es verspricht keine Zitationen, und nichts Ehrliches kann das. Alles oben Genannte funktioniert auch von Hand mit curl, Search Console und einer Stunde Aufmerksamkeit. Wie auch immer: Behebe zuerst die Technik, bevor du Geld für Prompt-Tracking-Tools ausgast. Ein Monitoring-Dashboard hilft nicht, wenn der Crawler einen 403 bekommt.
Erweitere Dmitry Sergeev Dmitry Sergeev Dmitry Sergeev Folgen Beigetreten am 23. Mai 2026 • 9. Oktober Dropdown-Menü Link kopieren Ausblenden
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
You can't force an AI engine to cite you. You can make sure nothing technical stops it from fetching, reading, and quoting your page. That part is checkable. Work through this list in order, because each step depends on the one before it.
"AI search" isn't one crawler. Each vendor runs separate user agents for search, training, and live user requests, and robots.txt treats each one separately.
Decide your policy first. A common one is to allow the search bots and decide separately about training bots.
Open https://yoursite.com/robots.txt and read it carefully. The rule that catches people is that a crawler follows only the group that matches its user agent most specifically. If no group names it, it falls back to User-agent: *. It doesn't merge the two.
User-agent: * Disallow: /admin Disallow: /checkout User-agent: GPTBot Allow: / Enter fullscreen mode Exit fullscreen mode gives GPTBot access to /admin and /checkout, because the GPTBot group replaces the * group for that bot. If you add named groups for AI bots, repeat your Disallow lines in each of them.
The reverse mistake is just as common: a blanket Disallow: / under a named bot, copied from a "block AI" snippet years ago, which now also blocks the search bot you want. Check for:
robots.txt is a request. Your CDN or WAF actually enforces access. A site can allow OAI-SearchBot in robots.txt and still serve it a 403 or a challenge page.
Cloudflare, for example, announced in July 2025 that new domains block AI crawlers by default unless the owner allows them, and other CDNs have similar toggles. Check your CDN's bot settings, your WAF's user-agent and country rules, and any rate limits a burst of crawler requests could trip.
curl -s -o /dev/null -w "%{http_code} \n " \ -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \ https://yoursite.com/ Enter fullscreen mode Exit fullscreen mode This only tests rules keyed on the user-agent string. Real crawlers also come from published IP ranges (OpenAI and Perplexity both publish JSON files of them), and some WAFs verify those ranges. Your server logs are the real proof. Search them for OAI-SearchBot, PerplexityBot, and Claude-SearchBot and look at the status codes they got.
curl -s https://yoursite.com/pricing | grep -i "your exact pricing sentence" Enter fullscreen mode Exit fullscreen mode If the grep finds nothing but you can see the sentence in a browser, that content is rendered on the client. Fixes, in rough order of effort:
For Google, the requirement is stated plainly. To show up as a supporting link in AI Overviews or AI Mode, a page has to be indexed and eligible to appear in Search with a snippet. Google also says there are no extra technical requirements beyond that.
So look for the things that quietly remove eligibility:
Use the URL Inspection tool in Google Search Console to see what Googlebot actually got. Do the same in Bing Webmaster Tools. Bing's index sits behind Bing search and Microsoft Copilot, and you can import your verified sites from Search Console in a couple of clicks.
Once the plumbing works, the question is whether there's a sentence worth quoting. Answer engines pull passages, not whole pages. So:
None of this is AI-specific. It's what won featured snippets for years, which is why I treat AEO and GEO as SEO done carefully rather than as a separate channel.
Google says you don't need any special schema to appear in AI features. Structured data still helps machines tell what a page is about, as long as it matches the visible text. For most product sites that means:
Validate with Google's Rich Results Test. Markup that claims things the page doesn't show is worse than none.
llms.txt is a proposed convention, a Markdown file at your site root that maps your important pages for language models. It's cheap to add, but don't expect it to change rankings or citations. Google says you don't need new machine-readable or AI text files to appear in its AI features. If you add one, keep it short and accurate.
I built Siteory to run a lot of these checks in one pass. It crawls a bounded sample of your public pages, checks robots rules, sitemaps, canonicals, JSON-LD, thin copy, and llms.txt, and explains each finding along with how to fix it. It doesn't promise citations, and nothing honest can. Everything above also works by hand with curl, Search Console, and an hour of attention. Either way, fix the plumbing before you spend money on prompt-tracking tools. A monitoring dashboard won't help if the crawler is getting a 403.
Expand Dmitry Sergeev Dmitry Sergeev Dmitry Sergeev Follow Joined May 23, 2026 • Oct 9 Dropdown menu Copy link Hide We need to produce a comment per developer instruction. Must be short, one or two sentences, maybe fragment. Should start with specific reaction or question about this video. Something like "any thoughts on how to test for Perplexity?" etc. No quotes, no hashtags, no markdown. Must be plain text. No URLs. Must be casual. Should not be polished. Should not start with generic praise. Must be relevant: ask about AEO/GEO checklist. Maybe "is there a way to automate the checklist?" Keep short