Wer darf mit Ihren Website-Texten KI trainieren? Eine Entscheidung für die robots.txt

Stand dieses Beitrags: 3. November 2026. Dieser Beitrag ordnet technische Entwicklungen ein und ist keine Rechtsberatung. Die Regeln der Anbieter ändern sich, prüfen Sie wichtige Entscheidungen vor der Umsetzung.

Was ist neu, und was gilt schon heute?

Neu ist ein gemeinsames Signal, mit dem Sie KI-Training in einer einzigen Zeile ablehnen können. Heute funktioniert das noch nicht. Google hat am 30. Oktober 2026 angekündigt, ein solches Signal in der robots.txt zu unterstützen. Microsoft und OpenAI wollen es ebenfalls nutzen. Grundlage ist ein Entwurf der Internetstandard-Organisation IETF, noch kein beschlossener Standard.

Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Website. Dort steht, welche automatischen Programme welche Bereiche lesen sollen. Der geplante Eintrag besteht aus zwei Zeilen und richtet sich gegen die Nutzung für das Training. Google will ihn 2027 berücksichtigen, Microsoft ab dem 1. Februar 2027.

Bis dahin gelten die bisherigen Einzelregeln der Anbieter. Sie bleiben auch danach neben dem neuen Signal bestehen.

Training, Antworten, Suche: Wo liegt der Unterschied?

Es sind drei getrennte Nutzungen, und nur eine davon betrifft das Training. Beim Training lernt ein Sprachmodell aus Ihren Texten. Bei Antworten ruft ein KI-Dienst Ihre Seite ab, um eine aktuelle Frage zu beantworten und gegebenenfalls zu verlinken. Fachleute nennen das Grounding. Die klassische Suche ist wieder etwas anderes.

Nutzung	Beispiel für die Steuerung	Folge einer Sperre
Suche	Googlebot, Bingbot, OAI-SearchBot	Sie verlieren Sichtbarkeit
Antworten in KI-Diensten	Je Anbieter verschieden, bei Microsoft künftig eigene Einstellung	Sie werden seltener zitiert
Training	GPTBot, Google-Extended, künftig das gemeinsame Signal	Ihre Texte fließen nicht in neue Modelle

OpenAI beschreibt in seiner Dokumentation, dass beide Crawler unabhängig voneinander einstellbar sind: Wer OAI-SearchBot erlaubt und GPTBot sperrt, erscheint in der ChatGPT-Suche, liefert aber keine Inhalte für das Training. Wer OAI-SearchBot sperrt, wird in ChatGPT-Suchantworten nicht angezeigt.

Welche verbreiteten Annahmen stimmen nicht?

Mehrere gängige Annahmen halten einer Prüfung nicht stand. Die Tabelle stellt fünf davon der Quellenlage gegenüber.

Annahme	Was belegt ist
Wer KI-Training sperrt, fällt bei Google heraus.	Google-Extended wirkt nicht auf die Google-Suche und ist kein Rankingsignal (Google-Dokumentation).
Mit dem Widerspruch verschwinden Ihre Inhalte aus KI-Antworten.	Das hängt vom Anbieter ab. Bei Google kann ein Widerspruch auch das Grounding in Gemini Apps betreffen, Microsoft trennt beides.
Die neue Regel gilt ab sofort.	Es ist ein Entwurf. Google plant die Unterstützung für 2027, Microsoft ab 1. Februar 2027.
Ein Eintrag in der robots.txt schützt Ihre Texte technisch.	Es ist eine Bitte, kein Schloss. Ob sich ein Anbieter daran hält, liegt bei ihm.
Für Ihre Inhalte gibt es bald Geld.	Googles Pilot zahlte nach Berichten rund 100 Publishern, nach Googles Ermessen. Ob Google das Modell ausweitet, ist offen.

Wann ist ein Widerspruch sinnvoll, wann nicht?

Für die meisten Mittelständler gilt: Seiten, die Kunden gewinnen sollen, gehören nicht gesperrt. Ihre Leistungsseiten und Fachbeiträge sollen gefunden und von KI-Diensten zitiert werden. Wie das aussieht, prüfen Sie wie im Beitrag Googeln Sie Ihr Unternehmen und lesen Sie, was die KI über Sie sagt beschrieben.

Hier spricht etwas für den Widerspruch

• Bezahlte InhalteFachwissen, das Kunden nur gegen Entgelt erhalten, zum Beispiel Preislisten für Händler oder Mitgliederbereiche.
• Eigene BildarchiveFotos und Grafiken, deren Nutzungsrechte Sie nicht für das Training freigeben möchten.
• Vertragliche VorgabenInhalte von Partnern oder Kunden, für die Sie eine Weitergabe ausgeschlossen haben.

Hier spricht wenig dafür

Wenn Ihre Website vor allem Vertrauen aufbauen und Anfragen erzeugen soll, überwiegt in der Regel der Nutzen der Sichtbarkeit. Ein Widerspruch kann sinnvoll sein, ersetzt aber nie die Pflege der Inhalte, die Menschen und Suchsysteme zuerst sehen.

Worauf sollten Sie bei der Umsetzung achten?

Die größte Gefahr ist nicht die KI, sondern ein Tippfehler in der robots.txt. Eine Zeile zu viel kann alle Suchmaschinen aussperren. Ein pauschales Verbot für alle Programme ist etwas völlig anderes als ein Widerspruch gegen das Training.

Zuständig ist meist die Person oder Firma, die Ihre Website betreut. Je nach System liegt die Datei im Verzeichnis des Hosters oder wird über ein Plugin erzeugt. Klären Sie das vorab, damit sich nicht zwei Stellen gegenseitig überschreiben.

Fragen an Ihre Agentur oder Ihren Webdienstleister

• Wo liegt unsere robots.txt, und wer darf sie ändern?
• Welche KI-Crawler sind dort heute genannt, und warum?
• Sind NoArchive oder NoCache auf unseren Seiten gesetzt?
• Wie prüfen wir nach einer Änderung, dass die Suche weiter funktioniert?

Was können Sie in dieser Woche tun?

Verschaffen Sie sich einen Überblick und halten Sie Ihre Entscheidung fest. Mehr ist heute nicht nötig.

1. Rufen Sie Ihre-Domain.de/robots.txt im Browser auf und notieren Sie, welche Programme dort genannt werden.
2. Entscheiden Sie, welche Inhalte öffentlich zitierbar sein sollen und welche nicht.
3. Prüfen Sie, ob auf Ihren Seiten NoArchive oder NoCache gesetzt ist. Microsoft berücksichtigt diese älteren Angaben nach dem 1. März 2027 nicht mehr für Training und Grounding.
4. Setzen Sie sich eine Wiedervorlage für Februar 2027, wenn Google und Microsoft das Signal umsetzen wollen.

Wie Sie die Auffindbarkeit in KI-Diensten insgesamt verbessern, zeigt der Beitrag KI-Suche im Mittelstand: Was Ihre Website jetzt leisten muss.

Ihr nächster Schritt

Entscheiden Sie bewusst, statt Standardeinstellungen zu übernehmen. Wenn Sie nicht sicher sind, welche Ihrer Inhalte geschützt und welche sichtbar sein sollen, gehen wir das gern mit Ihnen durch.

Sprechen Sie uns über die Kontaktseite an. Unser Strategiegespräch ist kostenlos und unverbindlich, auf Wunsch auch per Videocall. Was wir für Unternehmen tun, finden Sie unter Leistungen. Die Quellen dieses Beitrags: Google Search Central Blog (30.10.2026), OnlineMarketing.de (02.11.2026), Bing Blog (30.10.2026), Google-Crawler-Dokumentation, OpenAI-Crawler-Dokumentation (beide abgerufen am 3. November 2026) und OnlineMarketing.de zum AI Contribution Pilot (01.10.2026).

Sie müssen nichts überstürzen. Das gemeinsame Signal gegen KI-Training ist ein Entwurf und wird 2027 umgesetzt. Entscheiden Sie bewusst, welche Inhalte für KI-Training genutzt werden dürfen, und sperren Sie nie die Such-Crawler. Ihr nächster Schritt: Öffnen Sie Ihre robots.txt und halten Sie Ihre Entscheidung fest. Gern besprechen wir das in einem kostenlosen, unverbindlichen Strategiegespräch.