Nur sechs GPTBot-Zugriffe in fünf Tagen: Server-Log-Realitätscheck
Artikel vorlesen lassen
GPTBot gilt als der wichtigste KI-Crawler. In meinen eigenen Server-Logs zeigte er in fünf Tagen nur sechs Zugriffe. Was tatsächlich häufiger crawlt, zeigt dieser Artikel.
Auf den TYPO3 Developer Days habe ich einen Talk zu GEO (Generative Engine Optimization) gehalten. Für die Vorbereitung habe ich zum ersten Mal richtig in meine eigenen Server-Logs geschaut, statt mich auf die üblichen vier Bot-Namen zu verlassen, die in jeder Checkliste stehen. Das Ergebnis war überraschend genug, dass es einen eigenen Artikel wert ist.
Der Ausgangspunkt: ein Blick ins eigene Access-Log
Datenbasis: ein Server, alle meine Domains, fünf Tage vom 26. bis 30. Juli 2026. 417.609 Requests insgesamt. Das ist bewusst klein und nicht repräsentativ für andere Websites. Ich rechne die absoluten Zahlen nicht hoch, das Muster ist die eigentliche Aussage.
Der erste Fund war ernüchternd: 192.359 der Requests, also 46 Prozent, waren reines Uptime-Monitoring. Wer Bot-Traffic bewerten will, muss das zuerst herausrechnen. Sonst zählt man am Ende seinen eigenen Wachhund als Interessenten.
GPTBot ist nicht der Bot, den du überwachen musst
Nach Abzug des Monitoring-Rauschens habe ich die Requests nach User-Agent sortiert. Zum Vergleich zuerst die klassische Suche: Googlebot verzeichnete 1.664 Zugriffe, Bingbot 980.
Bei den KI-bezogenen Agenten sah die Reihenfolge so aus:
| User-Agent | Requests (5 Tage) |
|---|---|
| CCBot | 1.924 |
| YouBot | 1.158 |
| Applebot | 764 |
| GoogleOther | 518 |
| OAI-SearchBot | 413 |
| Amazonbot | 372 |
| meta-externalagent | 262 |
| Bytespider | 241 |
| Diffbot | 190 |
| ChatGPT-User | 131 |
| LinkupBot | 112 |
| ClaudeBot | 99 |
| DuckAssistBot | 29 |
| PerplexityBot | 26 |
| Claude-User | 26 |
| GPTBot | 6 |
| Bravebot | 4 |
GPTBot, der Name, mit dem fast jede GEO-Checkliste anfängt, tauchte in fünf Tagen genau sechsmal in den Logs auf. Gleichzeitig tauchten YouBot, CCBot, GoogleOther und meta-externalagent auf, Namen, die in den gängigen Checklisten kaum vorkommen. Wer seine robots.txt nur gegen die vier bekannten Namen pflegt, optimiert am eigentlichen Traffic vorbei.
Und zur Einordnung: Die klassische Suche crawlt weiterhin deutlich intensiver als alle KI-Systeme zusammen. Das nimmt der Sache die Panik. GEO kommt obendrauf, es ersetzt nichts.
Live-Retrieval ist der eigentlich spannende Teil
Zwei Namen in der Liste sind etwas anderes als ein Crawler: ChatGPT-User und Claude-User. Ein klassischer Crawler wie GPTBot oder ClaudeBot indexiert auf Vorrat. ChatGPT-User und Claude-User erscheinen genau dann, wenn gerade ein Mensch eine Frage gestellt hat und das System die Antwort live abruft.
In den fünf Tagen gab es 113 ChatGPT-User-Abrufe von 99 unterschiedlichen IP-Adressen, plus 23 Claude-User-Abrufe. Das sind also nicht wenige Personen, die immer wieder fragen, sondern viele einzelne, echte Anfragen.
Am häufigsten abgerufen wurden dabei nicht meine Verkaufsseiten, sondern kleine Hilfe-Artikel: ein Artikel zu Google-Drive-Freigabeordnern (19-mal), die Startseite (12-mal), ein Artikel zum DeepL-API-Zeichenverbrauch (9-mal), die englische Fassung der TYPO3-Security-Releases von Juni 2026 (8-mal) und ein Detail zu TYPO3 v14 (6-mal). Claude hat mehrfach meinen eigenen Artikel über Pro und Contra von GEO abgerufen. Ich werde also von einem KI-System zu genau dem Thema zitiert, über das dieser Artikel handelt.
Der Punkt, der hängen bleibt: Keiner dieser 136 Live-Abrufe taucht in Matomo auf. Kein Mensch hat die Seite geladen, kein JavaScript ist gelaufen. Wer GEO nur über klassische Analytics bewertet, sieht systematisch zu wenig.
Vorsicht: Ein User-Agent ist nur eine Behauptung
Der wichtigste Fund kam beim genaueren Hinsehen. Ein angeblicher Perplexity-User rief auf einer meiner Domains 139-mal Pfade wie /.env, /.ssh/id_rsa, /.aws/credentials und /.git/config auf, alles aus nur zwei IP-Adressen. Das ist kein KI-System. Das ist ein Angreifer, der nach Zugangsdaten sucht und sich als KI-Agent ausgibt, weil der Name aktuell überall durchgewinkt wird.
Dasselbe Muster fand sich bei einem angeblichen OAI-SearchBot (190 Requests) und bei CCBot: Über die Hälfte seiner insgesamt 1.924 Requests waren Secret-Scans auf ähnliche Pfade.
Die Lehre daraus: Ein User-Agent ist eine Selbstauskunft, kein Ausweis. Jeder kann jeden Namen senden. Wer einem Kunden eine Auswertung über KI-Crawler-Zugriffe vorlegt, ohne die Treffer gegen die veröffentlichten IP-Bereiche der Anbieter zu prüfen, liefert eine Zahl ohne Substanz. OpenAI, Anthropic, Perplexity und Google veröffentlichen ihre IP-Bereiche. Ein Abgleich ist ein paar Zeilen Skript.
Zweite Lehre: Eine Allow-Regel in der robots.txt ist eine Bitte an höfliche Besucher. Wer Zugangsdaten sucht, liest die robots.txt gar nicht. Zugangskontrolle und robots.txt sind zwei verschiedene Baustellen.
Was das für deine robots.txt bedeutet
Trenne zwei Entscheidungen, die oft vermischt werden:
- Training verhindern: Google-Extended sperren, wenn du nicht willst, dass deine Inhalte für das Training von Gemini genutzt werden.
- Retrieval zulassen: GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot bewusst mit Allow: / versehen, wenn du in KI-Antworten zitiert werden willst.
Der häufigste Fehler: Google-Extended sperren und glauben, damit die Google-AI-Overviews zu steuern. AI Overviews laufen über den normalen Googlebot. Wer Googlebot sperrt, verliert die klassische Suche gleich mit.
Drei Schritte für dein eigenes Log
- Werte dein eigenes Access-Log über einen vollen Monat aus, nicht nur wenige Tage. Fünf Tage zeigen ein Muster, aber keine belastbaren absoluten Zahlen.
- Rechne Monitoring-Traffic heraus, bevor du Bot-Zahlen bewertest.
- Verifiziere verdächtige User-Agents gegen die veröffentlichten IP-Bereiche, bevor du KI-Crawler-Zahlen an einen Kunden weitergibst.
FAQ
GPTBot ist der Crawler von OpenAI, der Inhalte für das Training zukünftiger Modelle sammelt. Er ist nicht identisch mit den Agenten, die für die Live-Beantwortung von ChatGPT-Anfragen Seiten abrufen.
Das hängt davon ab, ob du beim Training oder beim Retrieval mitmachen willst. Wer in KI-Antworten zitiert werden möchte, lässt Retrieval-Bots wie OAI-SearchBot und ChatGPT-User bewusst zu.
Ein echter Bot des jeweiligen Anbieters kommt aus den veröffentlichten IP-Bereichen dieses Anbieters. Ein User-Agent allein beweist nichts. Auffällig sind zudem Zugriffe auf Pfade wie /.env oder /.git/config, die mit einer KI-Antwort nichts zu tun haben.
Ein Crawler wie GPTBot oder ClaudeBot indexiert auf Vorrat. Ein Live-Retrieval-Bot wie ChatGPT-User oder Claude-User ruft eine Seite genau dann ab, wenn ein Mensch gerade eine Frage gestellt hat.
Ein einfacher grep über die Zugriffslogs nach den bekannten User-Agent-Strings reicht für den Einstieg. Wichtig ist, Monitoring-Traffic vorher herauszurechnen und die Treffer bei Bedarf gegen die IP-Bereiche der Anbieter zu verifizieren.
Du hast eine Frage oder willst das Thema diskutieren?
Im Community Hub für TYPO3 kannst du dich mit anderen TYPO3 Anwendern austauschen. Und wenn du keine neuen Artikel verpassen willst: Der TYPO3 Newsletter kommt einmal im Monat, ohne Spam.
