Wo Sie die Einstellungen finden
Nach § 44b UrhG ist KI-Training mit frei zugänglichen Website-Inhalten erlaubt, solange Sie nicht maschinenlesbar widersprechen (Hintergründe). Yoast SEO schreibt diesen Widerspruch für Sie in die robots.txt – mit wenigen Klicks im WordPress-Backend:
Menüpfad: Yoast SEOEinstellungenErweitertCrawl-Optimierung
- Im WordPress-Menü Yoast SEO → Einstellungen öffnen.
- Links unter Erweitert den Punkt Crawl-Optimierung wählen.
- Zum Abschnitt „Unerwünschte Bots blockieren“ scrollen und die gewünschten Schalter aktivieren, dann speichern.
Die vier Schalter im Detail
„Verhindere, dass Google Gemini und Vertex AI Bots crawlen“
- Vorteil: Google darf Ihre Inhalte nicht mehr für das Training seiner Gemini-Modelle nutzen.
- Vorteil: Ranking in der Google-Suche und Erscheinen in den AI Overviews bleiben unverändert – beides steuert der normale Googlebot.
- Beachten: Google koppelt Training und Quellenangabe: Die Gemini-App nennt Ihre Seite voraussichtlich nicht mehr als Quelle.
EmpfehlungAbwägen
„Verhindere das Crawling von OpenAI GPTBot“
- Vorteil: OpenAI darf Ihre Inhalte nicht mehr für das Training künftiger ChatGPT-Modelle nutzen.
-
Vorteil: ChatGPT kann Ihre Seite weiterhin finden und als Quelle verlinken – dafür ist der separate
OAI-SearchBotzuständig, der nicht gesperrt wird.
EmpfehlungAktivieren
„Common Crawl CCBot am Crawlen hindern“
- Vorteil: Ihre Inhalte gelangen nicht mehr in neue Versionen von Common Crawl – einem freien Webarchiv, das viele KI-Firmen als Trainingsmaterial nutzen.
- Vorteil: Keine Nachteile für Ihre Sichtbarkeit in Suchmaschinen und KI-Antworten.
EmpfehlungAktivieren
„Verhindere das Crawlen durch Google AdsBot“
Steht im selben Abschnitt, hat aber nichts mit KI zu tun: Der AdsBot prüft die Zielseiten Ihrer Google-Ads-Anzeigen.
- Beachten: Schalten Sie Google Ads auf diese Website, lassen Sie den Schalter aus – sonst kann Google Ihre Anzeigen nicht korrekt prüfen.
- Vorteil: Ohne Google Ads können Sie ihn aktivieren; auf die Google-Suche hat er keinen Einfluss.
EmpfehlungNur ohne Google Ads
Wichtig zu wissen
- Die Schalter sind eine verbindliche Erklärung, aber kein technischer Schutz: Seriöse Anbieter wie Google und OpenAI halten sich daran, unseriöse Scraper eventuell nicht. Und sie wirken nur für die Zukunft.
- Andere Anbieter wie Anthropic (Claude), Apple oder Meta erfassen die Schalter nicht. Die passenden Einträge stehen im Artikel zum KI-Widerspruch.
- Liegt eine eigene Datei
robots.txtim Hauptverzeichnis, kann Yoast die Regeln nicht schreiben. Prüfen Sie deshalb nach dem Speichernhttps://ihre-domain.de/robots.txt.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /Meine Empfehlung
GPTBot und CCBot sperren – das hat keine Nachteile. Bei Gemini müssen Sie abwägen: Ist Ihnen der Schutz vor Gemini-Training wichtiger als eine mögliche Nennung in der Gemini-App?
Häufige Fragen
Wo finde ich die KI-Einstellungen in Yoast SEO?
Im WordPress-Backend unter Yoast SEO → Einstellungen → Erweitert → Crawl-Optimierung. Im Abschnitt „Unerwünschte Bots blockieren“ gibt es drei Schalter für Google Gemini und Vertex AI, OpenAI GPTBot und Common Crawl CCBot (Yoast SEO Premium).
Verschlechtert sich mein Google-Ranking, wenn ich Gemini in Yoast sperre?
Nein. Die Einstellung sperrt nur Google-Extended. Ranking und AI Overviews in der Google-Suche laufen über den normalen Googlebot. Allerdings wird die Gemini-App Ihre Seite voraussichtlich nicht mehr als Quelle nennen.
Erscheint meine Website noch in ChatGPT, wenn ich GPTBot sperre?
Ja. GPTBot sammelt nur Trainingsdaten. Für die Suche in ChatGPT und Quellenlinks ist der OAI-SearchBot zuständig, den Yoast nicht sperrt.
Brauche ich Yoast SEO Premium, um KI-Bots zu sperren?
Für die Schalter in Yoast ja: Google Gemini und Vertex AI, OpenAI GPTBot und Common Crawl CCBot sind Premium-Funktionen. Mit der kostenlosen Version tragen Sie dieselben Disallow-Regeln von Hand in die robots.txt ein.
Sperrt Yoast SEO auch Claude, Meta oder Apple?
Nein. Die drei Schalter erfassen nur Google-Extended, GPTBot und CCBot. Weitere Bots wie ClaudeBot, meta-externalagent oder Applebot-Extended müssen manuell in der robots.txt ergänzt werden.
Warum erscheinen die Einträge nicht in meiner robots.txt?
Meist liegt eine physische robots.txt-Datei im Hauptverzeichnis des Webservers. Sie hat Vorrang vor der von WordPress und Yoast erzeugten Version. Entfernen Sie die Datei oder ergänzen Sie die Einträge dort von Hand.