Kurzantwort
Prüfen Sie zuerst die robots.txt. Lassen Sie ChatGPT oder Claude anschließend eine konkrete Seite direkt öffnen und den aktuellen Seitentitel sowie die erste Überschrift nennen. Eine korrekte robots.txt allein reicht nicht aus, weil auch Firewalls, Sicherheitsplugins oder Captchas den Zugriff verhindern können.
Warum kann eine KI eine Website nicht lesen?
KI-Systeme greifen nicht wie ein normaler Besucher auf eine Website zu. Für die Suche, das Training und direkt durch Nutzer ausgelöste Aufrufe verwenden sie unterschiedliche Crawler. Diese Programme werden häufig auch als Bots bezeichnet.
Websitebetreiber können Bots über die Datei robots.txt freigeben oder sperren. Die Datei ist unter einer einfachen Adresse erreichbar:
https://www.ihre-domain.de/robots.txt
Eine Freigabe in dieser Datei bedeutet allerdings nur: Der Bot darf zugreifen. Ob er die Website technisch wirklich erreicht und den eigentlichen Inhalt erhält, ist damit noch nicht geklärt.
Welche Bots sind für ChatGPT und Claude wichtig?
| Bot | Aufgabe | Warum relevant? |
|---|---|---|
OAI-SearchBot |
Durchsucht Websites für die ChatGPT-Suche. | Wichtig, wenn Inhalte in ChatGPT-Suchergebnissen erscheinen sollen. |
ChatGPT-User |
Ruft Seiten im Auftrag eines ChatGPT-Nutzers auf. | Relevant, wenn jemand ChatGPT eine konkrete URL nennt. |
GPTBot |
Sammelt mögliche Inhalte für das Training von OpenAI-Modellen. | Eine Sperre betrifft nicht automatisch die ChatGPT-Suche. |
Claude-SearchBot |
Durchsucht Websites für die Suche von Claude. | Wichtig für die Sichtbarkeit in Claude-Suchergebnissen. |
Claude-User |
Ruft Seiten auf Wunsch eines Claude-Nutzers ab. | Relevant für direkte Fragen zu einer konkreten URL. |
ClaudeBot |
Sammelt mögliche Inhalte für das Training von Anthropic-Modellen. | Kann unabhängig von der Claude-Suche behandelt werden. |
Die Aufgaben der Crawler dokumentieren OpenAI und Anthropic auf ihren offiziellen Seiten.
Wichtig: Training und Suche sind nicht dasselbe. Unternehmen können einen Trainingscrawler sperren und einen Suchcrawler weiterhin zulassen. Eine pauschale Aussage wie „ChatGPT ist blockiert“ ist deshalb zu ungenau.
Der einfache Praxistest ohne technisches Vorwissen
- Wählen Sie eine konkrete Unterseite.
Nutzen Sie nicht nur die Startseite, sondern beispielsweise eine aktuelle Leistungsseite oder einen neuen Fachbeitrag. - Öffnen Sie ChatGPT oder Claude.
Aktivieren Sie die Websuche, wenn das System diese Funktion anbietet. - Lassen Sie die URL direkt prüfen.
Fordern Sie das System ausdrücklich auf, keine anderen Suchergebnisse zu verwenden. - Vergleichen Sie das Ergebnis.
Stimmen Titel und erste Überschrift mit der aktuellen Seite überein, konnte der Inhalt grundsätzlich abgerufen werden.
Abfrage zum Kopieren
Öffne direkt diese URL: [URL einfügen]. Nenne mir den aktuellen Seitentitel und die erste sichtbare Überschrift. Nutze dafür keine anderen Websites und keine Suchergebnisse.
Kann das System die Seite nicht öffnen oder nennt es veraltete beziehungsweise falsche Inhalte, sollte die technische Erreichbarkeit genauer geprüft werden. Ein einzelner erfolgreicher Abruf beweist umgekehrt noch nicht, dass jede Unterseite erreichbar oder bereits in der KI-Suche indexiert ist.
Warum eine korrekte robots.txt nicht genügt
In der Praxis liegt die eigentliche Sperre häufig nicht in der robots.txt. Folgende Systeme können den Zugriff zusätzlich verhindern:
- Cloudflare oder eine andere Web Application Firewall,
- Sicherheitsplugins wie Wordfence,
- Captchas und JavaScript-Prüfungen,
- Sperren bestimmter IP-Adressen oder Länder,
- zu strenge Schutzregeln gegen automatisierte Aufrufe,
- fehlerhafte Weiterleitungen oder Serverfehler,
- Inhalte, die erst nach einer Nutzeraktion geladen werden.
Besonders tückisch: Der Server kann den Status „200 – erreichbar“ zurückgeben, obwohl der Bot statt der eigentlichen Seite nur eine Sicherheitsabfrage oder eine nahezu leere Seite erhält.
Was tun, wenn ein Prüf-Tool eine Sperre meldet?
Die Aussage „Unser Tool kommt nicht auf die Website“ beweist noch nicht, dass auch ChatGPT oder Claude blockiert sind. Das Prüf-Tool kann eine eigene IP-Adresse und einen eigenen User-Agent verwenden – und deshalb selbst von der Firewall abgewiesen werden.
Fragen Sie in diesem Fall konkret nach:
- Welcher Bot wurde geprüft?
- Welche genaue URL wurde aufgerufen?
- Welcher HTTP-Status wurde zurückgegeben?
- Welcher Seiteninhalt wurde tatsächlich ausgeliefert?
- Kam der Aufruf von einer offiziellen Bot-IP oder vom Server des Prüf-Tools?
Ohne diese Angaben ist die Meldung nicht belastbar. Für eine sichere Diagnose sollten zusätzlich Server- oder Firewall-Protokolle ausgewertet werden. Dort lässt sich erkennen, welcher Bot angefragt hat und welche Antwort er erhalten hat.
Was bedeutet die Erreichbarkeit für die KI-Sichtbarkeit?
Technische Erreichbarkeit ist die Grundlage, aber noch keine Garantie für eine Nennung in ChatGPT, Claude oder Google AI Overviews. Die Inhalte müssen zusätzlich verständlich, fachlich belastbar und thematisch relevant sein.
Wie Unternehmen technische SEO, hilfreiche Inhalte und Generative Engine Optimization sinnvoll verbinden, zeigt unser Ratgeber Website für KI-Suche optimieren. Weitere Informationen finden Sie auf den Leistungsseiten zur GEO-Optimierung und zur SEO-Beratung.
Fazit: Erst erlauben, dann wirklich testen
Eine korrekt konfigurierte robots.txt ist wichtig, reicht als Nachweis aber nicht aus. Entscheidend ist, ob ChatGPT und Claude eine konkrete Seite tatsächlich abrufen und deren aktuellen Inhalt erkennen können.
Für eine erste Prüfung genügt der beschriebene Praxistest. Bei widersprüchlichen Ergebnissen sollten Firewall, Sicherheitsplugins, Serverantwort und Protokolle kontrolliert werden. Erst wenn die technische Grundlage funktioniert, lohnt sich die weitere Optimierung für KI-Suchen.
Häufige Fragen
Kann ChatGPT jede öffentlich erreichbare Website lesen?
Nein. Eine Seite kann öffentlich im Browser erreichbar sein und trotzdem automatisierte Aufrufe blockieren. Außerdem entscheidet ChatGPT abhängig von Funktion und Anfrage, ob eine URL direkt abgerufen wird.
Reicht eine Freigabe des GPTBot aus?
Nein. GPTBot ist hauptsächlich für mögliche Trainingsdaten vorgesehen. Für die ChatGPT-Suche ist vor allem OAI-SearchBot relevant. Direkte, durch Nutzer ausgelöste Abrufe können über ChatGPT-User erfolgen.
Bedeutet ein Statuscode 200, dass der Inhalt lesbar ist?
Nicht immer. Auch eine Sicherheitsabfrage oder leere Ersatzseite kann mit dem Statuscode 200 ausgeliefert werden. Deshalb muss zusätzlich geprüft werden, welcher Inhalt tatsächlich ankommt.
Kann man eine Aufnahme in ChatGPT oder Claude garantieren?
Nein. Technische Zugänglichkeit und gute Inhalte verbessern die Voraussetzungen. Ob eine Seite indexiert, zitiert oder empfohlen wird, entscheidet das jeweilige System.
Ist Ihre Website für KI-Systeme erreichbar?
Wir prüfen Crawlbarkeit, technische Sperren, Seitenstruktur und die wichtigsten Voraussetzungen für eine bessere Sichtbarkeit in klassischen und KI-gestützten Suchsystemen.
