So prüfen Sie, ob AI-Crawler Ihre Website überhaupt lesen können
KI-Antwortdienste empfehlen nur Inhalte, die sie auch abrufen können. Wer in GEO investieren will, sollte zuvor über robots.txt und Serverlogs prüfen, ob die relevanten Crawler wie GPTBot und ClaudeBot zugreifen dürfen.
KI-Antwortmaschinen empfehlen und zitieren nur Inhalte, die sie auch abrufen können. Bevor du in GEO investierst, solltest du sicherstellen, dass die Crawler deine Website tatsächlich lesen können. Hier ist eine schnelle Überprüfung.
Beachte, dass zusätzlich OAI-SearchBot und ChatGPT-User für Suche und Live-Browsing existieren. Prüfe diese ebenfalls, wenn ChatGPT dich zitieren soll.
Öffne https://yourdomain.com/robots.txt. Ein pauschales Disallow: / unter User-agent: * oder eine Regel, die aus einem Sicherheits-Plugin kopiert wurde, blockiert KI-Bots häufig versehentlich. Um sie ausdrücklich zu erlauben:
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://yourdomain.com/sitemap.xml Enter fullscreen mode Exit fullscreen mode Wenn du bestimmte Bereiche privat halten möchtest, füge Disallow: /private/ innerhalb des jeweiligen Blocks hinzu.
robots.txt ist eine Anfrage, keine durchgesetzte Regel, und CDNs oder Firewalls (Cloudflare-Bot-Regeln, WAFs) können Bots blockieren, bevor sie sie überhaupt sehen. Dein Zugriffsprotokoll zeigt, was wirklich passiert:
grep -Ei "GPTBot|ClaudeBot|PerplexityBot" /var/log/nginx/access.log | tail -n 20 Enter fullscreen mode Exit fullscreen mode Zähle die Treffer pro Bot und Statuscode:
grep -Ei "GPTBot|ClaudeBot|PerplexityBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c Enter fullscreen mode Exit fullscreen mode Achte auf die Statuscodes. 200 bedeutet, dass der Bot die Seite gelesen hat. 403 oder 429 bedeutet, dass deine Firewall oder dein Rate Limiter ihn abweist. Gar keine Treffer über einige Wochen kann bedeuten, dass der Bot vorgelagert blockiert wird, oder schlicht, dass deine Website noch nicht entdeckt wurde. Beachte, dass Google-Extended in den Logs nicht auftaucht, da Googlebot das Abrufen übernimmt.
Wir haben ein ausführlicheres Glossar mit Begriffen zu internationaler Werbung und KI-Suche hier veröffentlicht: https://www.pandawm.com/blog/overseas-advertising-glossary.html
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
AI answer engines only recommend or cite what they can fetch. Before you invest in GEO, confirm the crawlers can actually read your site. Here is a quick check.
Note that OAI-SearchBot and ChatGPT-User also exist for search and live browsing, so check them if you want ChatGPT to cite you.
Open https://yourdomain.com/robots.txt. A blanket Disallow: / under User-agent: *, or a rule copied from a security plugin, often blocks AI bots by accident. To explicitly allow them:
User -agent: GPTBot Allow: / User -agent: ClaudeBot Allow: / User -agent: PerplexityBot Allow: / User -agent: Google-Extended Allow: / Sitemap: https://yourdomain.com/sitemap.xml Enter fullscreen mode Exit fullscreen mode If you prefer to keep some areas private, add Disallow: /private/ inside the relevant block.
robots.txt is a request, not enforcement, and CDNs or firewalls (Cloudflare bot rules, WAFs) can block bots before they ever see it. Your access log shows what really happens:
grep -Ei "GPTBot|ClaudeBot|PerplexityBot" /var/log/nginx/access.log | tail -n 20 Enter fullscreen mode Exit fullscreen mode Count hits per bot and status code:
grep -Ei "GPTBot|ClaudeBot|PerplexityBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c Enter fullscreen mode Exit fullscreen mode Look at the status codes. 200 means the bot read the page. 403 or 429 means your firewall or rate limiter is rejecting it. No hits at all over a couple of weeks may mean it is blocked upstream, or simply that your site is not yet discovered. Note that Google-Extended will not appear in logs, since Googlebot does the fetching.
We wrote a longer glossary of overseas-ad and AI-search terms here: https://www.pandawm.com/blog/overseas-advertising-glossary.html