Jede Website führt eine Datei, die kaum jemand öffnet: das Zugriffsprotokoll des Servers. Darin steht zeilenweise, wer wann welche Seite abgerufen hat. Seit einiger Zeit stehen dort Namen, die vor wenigen Jahren noch niemand kannte.
GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot. Hinter diesen Kennungen stehen die Programme, mit denen KI-Anbieter das Netz lesen. Wer wissen möchte, ob die eigene Seite in diesem Kreislauf vorkommt, findet im Protokoll die einzige Auskunft, die nicht von einem Anbieter selbst stammt.
Wer sich da meldet und wozu
GPTBot gehört zu OpenAI, ClaudeBot zu Anthropic, PerplexityBot zu Perplexity. Google-Extended ist kein eigener Crawler, sondern eine Steuerkennung: Sie regelt, ob Inhalte für generative Antworten verwendet werden dürfen, ohne die normale Websuche zu berühren. CCBot sammelt für Common Crawl, einen offenen Datenbestand, aus dem sich zahlreiche Modelle bedienen.
Die Kennungen unterscheiden sich im Zweck. Manche Zugriffe dienen dem Aufbau eines Datenbestandes, andere erfolgen im Moment einer Nutzerfrage, um eine aktuelle Seite zu holen. Für die Beurteilung der eigenen Sichtbarkeit ist die zweite Sorte die interessantere.
Die robots.txt ist die Stelle, an der entschieden wird
In dieser Textdatei lässt sich jede Kennung einzeln adressieren. Ein Verbot für GPTBot berührt Google nicht, ein Verbot für Google-Extended berührt die klassische Suche nicht. Die Datei ist kein technischer Schutz, sondern eine Absichtserklärung: Sie wirkt bei Programmen, die sich daran halten, und bei keinem anderen.
Wertlos macht sie das nicht. Die grossen Anbieter halten sich an die Vorgabe und dokumentieren ihre Kennungen öffentlich. Wer pauschal alles sperrt, sollte allerdings wissen, dass er damit auch aus den Antworten verschwindet, in denen er gern vorkäme.
Ein Abruf ist noch keine Erwähnung
Zwischen gelesen und genannt liegt der eigentliche Unterschied. Eine Seite kann täglich abgerufen werden und trotzdem nie in einer Antwort auftauchen, weil andere Quellen dieselbe Aussage klarer treffen. Umgekehrt kann eine selten abgerufene Seite regelmässig als Beleg dienen, wenn sie eine Frage vollständig beantwortet.
Wer den Unterschied ernst nimmt, braucht zwei Messungen statt einer. Welche Kennzahlen dabei überhaupt belastbar sind und welche nur Betriebsamkeit anzeigen, ist eine eigene Frage; wie sich Sichtbarkeit in KI-Antworten überhaupt messen lässt, hängt stark davon ab, ob man Abrufe, Nennungen oder Klicks zählt.
Die zweite Messung besteht aus eigenen Fragen
Neben dem Protokoll hilft eine simple Stichprobe: zehn bis fünfzehn Fragen aufschreiben, die ein Mensch stellen würde, bevor er auf der eigenen Seite landet. Diese Fragen regelmässig in mehreren Systemen stellen und notieren, welche Quellen genannt werden.
Die Antworten schwanken, auch bei identischer Frage. Deshalb zählt nicht der Einzelfall, sondern die Wiederholung über Wochen. Ein Tabellenblatt mit Datum, Frage, System und genannten Quellen genügt als Werkzeug völlig.
Was daraus folgt, wenn kein Marketingbudget da ist
Für einen Verein, eine Praxis oder einen kleinen Betrieb lautet die praktische Antwort meist: Zugang erlauben, Seiten aufräumen, Belege sichtbar machen. Wer wissen will, ob die eigene Seite als Quelle taugt, liest sie einmal so, als müsste er daraus eine Auskunft in vier Sätzen bauen.
Agenturen, die sich auf dieses Feld spezialisiert haben, machen im Kern dasselbe, nur systematischer und über viele Frageketten hinweg; Vibe Marketing ist eine davon. Die erste Runde schafft man aber ohne fremde Hilfe, und sie beantwortet die wichtigste Frage: Kommt die eigene Seite überhaupt vor.
Was das Protokoll nicht verrät
Zwei Dinge bleiben unsichtbar. Erstens, was ein System aus einer Seite macht, ob es sie zusammenfasst, teilweise übernimmt oder nur als Bestätigung für eine anderswo gefundene Aussage nutzt. Zweitens, wie viele Menschen die Antwort gelesen haben, in der die eigene Seite genannt wurde.
Diese Lücke lässt sich nicht schliessen, nur einkalkulieren. Wer daraus ableitet, weniger zu veröffentlichen, zieht die falsche Konsequenz; wer daraus ableitet, dass Reichweitenzahlen aus solchen Quellen mit Vorsicht zu behandeln sind, liegt richtig.
Häufige Fragen
Wo finde ich das Zugriffsprotokoll meiner Website?
Bei den meisten Hosting-Paketen liegt es im Verwaltungsbereich unter Statistiken oder Logfiles, oft als Datei zum Herunterladen. Wer ein übliches Analysewerkzeug einsetzt, sieht dort in der Regel keine Crawler, weil solche Werkzeuge auf Browser ausgelegt sind. Die Rohdatei ist deshalb die verlässlichere Quelle.
Schadet es meinem Google-Ranking, wenn ich Google-Extended sperre?
Nein. Google-Extended steuert ausschliesslich die Verwendung für generative Antworten. Die klassische Websuche läuft über den regulären Googlebot und bleibt von einer solchen Sperre unberührt.
Kann jemand die Kennung eines KI-Crawlers fälschen?
Ja, eine Kennung ist nur eine Angabe in der Anfrage. Die Anbieter veröffentlichen deshalb die Adressbereiche, aus denen ihre Programme kommen; ein Abgleich zeigt, ob ein Zugriff echt war. Für den Alltag genügt es meist, auffällige Muster im Blick zu behalten.