---
title: "Training-Bot vs. Such-Bot: robots.txt für KI-Zitate"
description: "So blockieren Sie KI-Training in der robots.txt, ohne aus ChatGPT Search und KI-Zitaten zu verschwinden – mit Copy-Paste-Regeln für WordPress."
url: "https://digitaldomination.xyz/blog/training-bot-vs-such-bot-robots-txt-ki-zitierung"
language: de-DE
alternates:
  de-DE: "https://digitaldomination.xyz/blog/training-bot-vs-such-bot-robots-txt-ki-zitierung"
  en-US: "https://digitaldomination.xyz/en/blog/training-bot-vs-search-bot-robots-txt-ai-citation"
  x-default: "https://digitaldomination.xyz/blog/training-bot-vs-such-bot-robots-txt-ki-zitierung"
image: "https://digitaldomination.xyz/assets/images/og-image.de.png"
organization:
  name: Digital Domination
  telephone: "+49 1577 5527800"
  email: "hey@digitaldomination.xyz"
  address: "523 Jackson Street, Unit #210, Saint Paul, Minnesota 55101, US"
---

robots.txt KI-Sichtbarkeit WordPress GEO AEO

# Training-Bot vs. Such-Bot: robots.txt richtig konfigurieren – KI-Training blockieren ohne Zitier-Sichtbarkeit zu verlieren

Seit 2025 betreiben OpenAI, Anthropic und Google je zwei getrennte Crawler – einen fürs Training, einen für die Suche. Wer beide in einen Topf wirft, verschenkt Sichtbarkeit in ChatGPT, Perplexity und Google AI Overviews. So trennen Sie sauber.

![Alexander Kirsch-Clayton](https://digitaldomination.xyz/assets/images/alexander.webp) von [Alexander Kirsch-Clayton](https://www.linkedin.com/in/alexanderkc/), Gründer 15. Juni 2026 ·11 Min. Lesezeit [Digital Domination auf LinkedIn](https://www.linkedin.com/company/digidomination/) [Digital Domination auf GitHub](https://github.com/digidomination)

Cloudflare fragt seit 2025 jede neue Domain bei der Anmeldung, ob KI-Crawler erlaubt sein sollen – Standard ist jetzt blockieren. Viele lesen das als Ja-oder-Nein-Frage. Das ist falsch, und es kostet Sichtbarkeit.

## Die neue Cloudflare-Abfrage, die die Frage verschoben hat

Bis vor Kurzem mussten Website-Betreiber KI-Crawler aktiv aussperren, wenn sie das wollten – Opt-out. Cloudflare hat das umgedreht. Jede neue Domain wird bei der Registrierung gefragt, ob sie KI-Crawler zulassen will, und startet im Zweifel mit Blockade. In Cloudflares eigenen Worten beginnt damit „jede neue Domain mit der Voreinstellung Kontrolle“, ohne dass man Einstellungen manuell zum Opt-out konfigurieren muss.

Der Grund dahinter ist nachvollziehbar. Trainings-Crawler entnehmen Websites sehr viel mehr Wert, als sie zurückgeben. Cloudflare misst das als Verhältnis von Crawls zu Weiterleitungen: Google holt sich im Juni 2025 rund 14 Seiten pro Verweis zurück auf die Quelle. Bei OpenAI lag dieses Verhältnis bei 1.700:1, bei Anthropic bei 73.000:1. Anders gesagt: Tausende Abrufe, ein einziger Besucher zurück.

Daraus ziehen die meisten Betreiber den naheliegenden, aber teuren Schluss: Wenn die KI-Firmen so viel nehmen und so wenig zurückgeben, dann eben alle aussperren. Die Krux ist, dass „die KI-Crawler“ keine homogene Gruppe mehr sind. Cloudflare selbst unterscheidet ausdrücklich: Trainings-Crawler verarbeiten Inhalte, um Fragen direkt in den eigenen Apps zu beantworten, und schicken kaum Traffic zurück. Such-Crawler tun etwas anderes.

## Die strukturelle Trennung: Trainings-Crawler ≠ Such-Crawler

Hier liegt die Tatsache, die in den meisten Audits noch nicht angekommen ist: Seit 2025 betreiben die drei dominanten Anbieter – OpenAI, Anthropic und Google – jeweils zwei getrennte Crawler-Identitäten. Eine holt Daten fürs Modelltraining, die andere indexiert für die Echtzeit-Suche und das Zitieren von Quellen. Das sind unterschiedliche User-Agent-Strings, und sie gehorchen unterschiedlichen Regeln in Ihrer `robots.txt`.

Bei OpenAI heißt der Trainings-Crawler `GPTBot`, der Such-Crawler `OAI-SearchBot`. OpenAI schreibt selbst: Ein Disallow für `GPTBot` signalisiert, dass die Inhalte nicht ins Training generativer Modelle einfließen sollen. `OAI-SearchBot` dagegen „dient dazu, Websites in den Suchergebnissen der ChatGPT-Suchfunktionen anzuzeigen“. Wer nur `GPTBot` blockiert, lässt `OAI-SearchBot` völlig unberührt.

Genau das ist der Punkt, an dem die Ja-oder-Nein-Sicht zusammenbricht. Sie können KI-Training unterbinden und gleichzeitig in der KI-Suche zitierbar bleiben. Es sind zwei Hebel, nicht einer. Wer beide gleichzeitig umlegt, weil er denkt, es sei ein einziger Schalter, schützt nichts Wertvolles und verliert dafür seine Zitier-Sichtbarkeit.

## Die vollständige Crawler-Taxonomie

Diese Tabelle ist die Referenz, die ich in jedem Audit zur Hand habe. Pro Anbieter steht links die Trainings-Identität, rechts die Such- und Zitier-Identität – und dahinter, was ein Disallow Sie tatsächlich kostet.

- **OpenAI – `GPTBot` (Training):** trainiert generative Modelle. Disallow = Ihre Inhalte fließen nicht ins Training. Kein Verlust an Zitier-Sichtbarkeit.
- **OpenAI – `OAI-SearchBot` (Suche/Zitate):** zeigt Websites in den ChatGPT-Suchergebnissen. Disallow = Ihre Seite erscheint nicht mehr in ChatGPT-Search-Antworten (nur noch als reiner Navigations-Link).
- **Anthropic – `ClaudeBot` (Training):** sammelt Webinhalte fürs Modelltraining. Disallow = künftige Materialien werden aus den Trainingsdaten ausgeschlossen. Kein Zitier-Verlust.
- **Anthropic – `Claude-SearchBot` (Suche/Zitate):** indexiert für die Suchqualität. Disallow = laut Anthropic „kann die Sichtbarkeit und Genauigkeit Ihrer Seite in den Suchergebnissen der Nutzer verringern“. (Zusätzlich gibt es `Claude-User`, der Seiten live auf Nutzeranfrage abruft.)
- **Google – `Google-Extended` (Training):** ein reines Produkt-Token, kein eigener Crawler. Steuert, ob Inhalte ins Gemini-Training einfließen. Disallow lässt Google-Suche und Ranking unberührt – kein Zitier-Verlust.
- **Google – `Googlebot` (Suche/AI Overviews):** der klassische Such-Crawler, der zugleich AI Overviews und den AI Mode speist. Disallow = Sie verschwinden aus der Google-Suche und damit aus den KI-Antworten obendrein. Praktisch nie sinnvoll.
- **Perplexity – `PerplexityBot` (vereint):** dient laut Perplexity ausschließlich dazu, Websites in den Suchergebnissen anzuzeigen und zu verlinken, „nicht, um Inhalte für KI-Basismodelle zu crawlen“. Kein separater Trainings-Bot. Disallow = keine Zitate in Perplexity.
- **Meta – `Meta-ExternalAgent` (nur Training):** crawlt Webinhalte fürs Modelltraining. Keine Such- oder Zitierfunktion. Ein Disallow ist eine reine IP-Schutz-Entscheidung – ohne jeden Nachteil für die Zitierbarkeit.

Kurzfassung: Vier Trainings-Identitäten (`GPTBot`, `ClaudeBot`, `Google-Extended`, `Meta-ExternalAgent`) dürfen Sie folgenlos blockieren. Vier Such-Identitäten (`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`, `Googlebot`) sollten Sie erlauben, wenn Sie in der KI-Suche auftauchen wollen.

## Die robots.txt-Syntax: chirurgische Regeln zum Kopieren

Bevor die Beispiele kommen, eine Regel, an der die meisten Fehler hängen: In der `robots.txt` hat eine namentliche Bot-Regel Vorrang vor der Sammelregel `User-agent: *`. Crawler verarbeiten die Gruppen von oben nach unten und befolgen nur die erste, spezifischste Gruppe, die auf ihren User-Agent passt. Ein `OAI-SearchBot` liest also seine eigene Gruppe und ignoriert `User-agent: *` komplett.

Haltung A – Training blockieren, Suche erlauben. Das ist für die meisten B2B-Seiten mit schützenswerten Inhalten die richtige Antwort: Modelltraining unterbinden, Zitier-Sichtbarkeit behalten.

```
# Trainings-Crawler blockieren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Such- und Zitier-Crawler ausdruecklich erlauben
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /
```

Haltung B – alles KI blockieren. Hier sperren Sie Trainings- und Such-Crawler gemeinsam aus. Der Preis: Sie sind in ChatGPT Search, Claude und Perplexity nicht mehr zitierbar. Wichtig – sperren Sie nicht `Googlebot`, sonst verlieren Sie zusätzlich die normale Google-Suche; `Google-Extended` reicht, um nur das Gemini-Training zu stoppen.

```
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Meta-ExternalAgent
Disallow: /
```

Haltung C – alles erlauben. Das ist die aktuelle Haltung von Digital Domination, und für eine Marke, die in der KI-Suche gefunden werden will, ist sie verteidigbar. Die `robots.txt` bleibt minimal und überlässt die Zitier-Frage dem Inhalt, nicht der Sperrliste.

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
```

In den Audits, die ich durchführe, sehe ich einen Fehler häufiger als jeden anderen: eine einzige `Disallow`-Zeile unter `User-agent: *`, die still die Zitierfähigkeit killt – während der Betreiber glaubt, er schütze nur sein geistiges Eigentum. Ein pauschales `Disallow: /` unter dem Sternchen trifft eben auch `OAI-SearchBot` und `PerplexityBot`. Wer Training meint, muss die Bots beim Namen nennen.

## WordPress: drei Wege zur Umsetzung

WordPress erzeugt automatisch eine virtuelle `robots.txt`, sobald keine physische Datei im Site-Root liegt. Standardmäßig enthält sie nur `User-agent: *` und `Disallow: /wp-admin/`. SEO-Plugins können diese virtuelle Datei erzeugen oder überschreiben – deshalb ist es entscheidend zu prüfen, welche Fassung unter `/robots.txt` wirklich ausgeliefert wird.

1. **Yoast SEO:** Einstellungen → Werkzeuge → Datei-Editor. Dort bearbeiten Sie die `robots.txt` direkt im Backend. Existiert noch keine physische Datei, legt Yoast sie für Sie an.
2. **Rank Math:** das eigene `robots.txt`-Modul unter den allgemeinen Einstellungen. Funktional identisch – ein Editorfeld, das die Datei schreibt.
3. **Roher Dateizugriff:** über den Dateimanager des Hosters oder per SSH, wenn ein Plugin die virtuelle Datei überschrieben hat oder zwei Plugins sich widersprechen. Eine physische `robots.txt` im Root sticht jede virtuelle Variante.

Die häufigste Falle: Ein Plugin generiert die Datei bei jedem Speichern neu und überschreibt Ihre Handarbeit. Verlassen Sie sich nicht auf das Editorfeld – rufen Sie `ihre-domain.de/robots.txt` im Browser oder per `curl` auf und lesen Sie, was tatsächlich ausgeliefert wird. Nur das zählt. Wenn Sie ohnehin Hosting und Plugin-Stack ordnen wollen, ist unsere [WordPress-Migration](https://digitaldomination.xyz/wordpress-migration) der Punkt, an dem solche Konflikte verschwinden.

## Entscheidungsrahmen für DACH-B2B: Wann sich Training-Blockieren lohnt

Ob Sie Training blockieren sollten, hängt nicht von der Stimmung gegenüber KI-Firmen ab, sondern von drei Fragen.

1. **Ist Ihr Inhalt echtes geistiges Eigentum oder austauschbares Lehrmaterial?** Eine proprietäre Methodik, ein Mandantenleitfaden, ein eigenes Bewertungsmodell – das ist schützenswert. Ein Blogbeitrag, der erklärt, was eine GmbH ist, ist es nicht.
2. **Verkaufen Sie an Käufer, die Sie über ChatGPT Search oder Perplexity finden könnten?** Immer mehr B2B-Entscheider starten ihre Recherche in einem KI-Assistenten. Wenn Ihr Käufer dort sucht, ist Zitier-Sichtbarkeit ein Vertriebskanal, kein Nice-to-have.
3. **Haben Sie verdiente Medienberichterstattung, die die Modelle bereits gespeist hat?** Wer durch Fachpresse, Studien oder Verzeichnisse längst in den Trainingsdaten steckt, gewinnt durch ein Disallow wenig – das Modell kennt Sie ohnehin.

Für die meisten B2B-KMU ohne Fremdberichterstattung kostet ein pauschaler Trainings-Block Zitier-Fläche, ohne nennenswerten IP-Schutz zu bringen – Ihr Material ist kein Geschäftsgeheimnis, und Sie geben freiwillig Suchsichtbarkeit auf. Für Kanzleien, Verlage und Agenturen mit echten Methodendokumenten dreht sich die Rechnung: Hier ist die Trennung – Training blockieren, Suche erlauben (Haltung A) – fast immer die richtige.

Faustregel aus der Praxis: Blockieren Sie Training nur dort, wo Sie einen konkreten Inhalt benennen können, der nicht ins Modell soll. Können Sie das nicht, lassen Sie die Such-Bots in Ruhe.

## Verifizieren: Werden Ihre Regeln befolgt?

Eine Regel zu schreiben heißt nicht, dass sie greift. Drei Prüfungen, vom Schnellen zum Gründlichen:

- **Google-Crawler:** Der robots.txt-Tester in der Google Search Console zeigt, ob `Googlebot` und `Google-Extended` Ihre Regeln so lesen, wie Sie es meinen.
- **OpenAI und Anthropic:** Rufen Sie Ihre `/robots.txt` selbst ab und gleichen Sie die User-Agent-Strings mit der offiziellen Dokumentation ab – ein Tippfehler wie `OAI-Searchbot` statt `OAI-SearchBot` macht die Regel wirkungslos.
- **Tatsächlicher Traffic:** Schauen Sie in die Server-Logs oder in Cloudflare Analytics → Tab „Bots“. Dort sehen Sie, welche Crawler wirklich kommen – und ob ein `Disallow` auch eingehalten wird.

Der letzte Schritt ist der wichtigste. `robots.txt` ist eine Bitte, kein Zaun. Seriöse Crawler von OpenAI, Anthropic und Google halten sich daran; die Logs bestätigen, dass die Abrufe nach dem Setzen der Regel zurückgehen. Bleibt ein blockierter Bot in den Logs aktiv, stimmt etwas mit Ihrer Syntax oder der ausgelieferten Datei nicht.

## Zitierbarkeits-Check: Qualifiziert diese Konfiguration Ihre Seite für KI-Zitate?

Eine Seite, die `OAI-SearchBot` blockiert, kann von der ChatGPT-Suche nicht zitiert werden – ganz gleich, wie gut der Inhalt ist. Inhaltsqualität ist die Voraussetzung; die `robots.txt` ist das Tor davor. Bevor Sie an Inhalten feilen, prüfen Sie, dass das Tor offen ist:

- `OAI-SearchBot` erlaubt ✓ (ChatGPT Search)
- `Claude-SearchBot` erlaubt ✓ (Claude)
- `PerplexityBot` erlaubt ✓ (Perplexity)
- `Googlebot` erlaubt ✓ (Pflicht für AI Overviews und den AI Mode)

Ob Sie nach dieser Freigabe in den KI-Antworten tatsächlich auftauchen, lässt sich nur durch Beobachten herausfinden – nicht durch Raten. Genau dafür haben wir [Cited](https://joincited.ai) gebaut: Es verfolgt in Echtzeit, wie ChatGPT, Claude, Perplexity, Gemini und die Google AI Overviews Ihre Marke und Ihre Wettbewerber beschreiben, und leitet daraus konkrete To-dos ab. Wer den ersten Schritt – ist meine Konfiguration überhaupt zitierfähig? – sauber gehen will, findet ihn in unserem [KI-Sichtbarkeits-Audit](https://digitaldomination.xyz/leistungen/ki-sichtbarkeits-audit).

Die `robots.txt` ist heute eine redaktionelle Richtlinienentscheidung über die Sichtbarkeit Ihrer Marke in der KI-Suche, festgehalten in zwei Zeilen – behandeln Sie sie auch so.

## Quellen

1. [Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (Cloudflare Press Release)](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) (abgerufen 2026-06-15)
2. [Control content use for AI training with Cloudflare's managed robots.txt (Cloudflare Blog)](https://blog.cloudflare.com/control-content-use-for-ai-training/) (abgerufen 2026-06-15)
3. [Overview of OpenAI Crawlers (OpenAI Developer Documentation)](https://developers.openai.com/api/docs/bots) (abgerufen 2026-06-15)
4. [Does Anthropic crawl the web? What is ClaudeBot? (Anthropic / Claude Support)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web-what-is-claude-bot) (abgerufen 2026-06-15)
5. [Google Common Crawlers (Google Search Central Documentation)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) (abgerufen 2026-06-15)
6. [Perplexity Crawlers (Perplexity Official Documentation)](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (abgerufen 2026-06-15)
7. [The robots.txt file in Yoast SEO (Yoast Help Documentation)](https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/) (abgerufen 2026-06-15)
8. [Create and Submit a robots.txt File (Google Search Central Documentation)](https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt) (abgerufen 2026-06-15)
9. [Meta-ExternalAgent User Agent | Known Agents](https://knownagents.com/agents/meta-externalagent) (abgerufen 2026-06-15)