6 min read
Du kannst vier der größten KI-Unternehmen jetzt mit einer einzigen kurzen Textzeile mitteilen, dass deine Website nicht zum Training ihrer Modelle verwendet werden soll. Das dauert etwa 20 Minuten, kostet nichts und schadet deinem Google-Ranking nicht, wenn du es richtig machst. Der Haken: Es ist eine Bitte, kein Schloss, und drei der vier Unternehmen haben es noch nicht aktiviert.
Am 30. Oktober reichte Kevin Kelley, bei Anthropic für Standards zuständig, einen Entwurf mit dem Titel „Machine-Readable Training Preference Signal“ bei der Internet Engineering Task Force ein, also dem Gremium, das viele der Regeln schreibt, nach denen das Web funktioniert. OpenAI, Google, Microsoft und Anthropic haben alle angekündigt, ihn zu respektieren. Diese Anleitung führt dich Schritt für Schritt durch die Einrichtung, auch wenn du noch nie eine robots.txt-Datei geöffnet hast. Eine robots.txt-Datei ist eine kleine, öffentliche Textdatei auf deiner Website, die automatisierten Besuchern sagt, was du von ihnen möchtest.
Was das neue Token macht, ganz einfach erklärt
Der Entwurf führt eine Kennzeichnung namens __usage_ai-training ein. Du trägst sie in die robots.txt ein, und sie drückt eine Präferenz zu genau einer Sache aus: ob deine Seiten für das Training generativer KI genutzt werden dürfen. Training ist die Phase, in der ein Unternehmen ein Modell mit Inhalten füttert, damit es daraus lernt.
Niemand wird dadurch daran gehindert, deine Website zu besuchen. Der Entwurf stellt klar, dass die Kennzeichnung keine Crawling-Regel ist. Auch zu KI-Antworten in Echtzeit sagt sie nichts, etwa wenn ein Assistent deine Seite aufruft, um einem Kunden eine Frage zu beantworten. Das ist eine gute Nachricht für kleine Unternehmen, denn du kannst dem Training widersprechen und trotzdem in der KI-Suche gefunden und zitiert werden. Wenn dir dieser zweite Teil wichtig ist, lies unseren Einsteigerleitfaden, um in KI-Antworten erwähnt zu werden.
Der Zeitplan unterscheidet sich je nach Unternehmen, wie aus der Ankündigung von OpenAI und der Presseberichterstattung über die anderen drei hervorgeht:
- Anthropic: Die Umsetzung begann im Oktober 2026.
- OpenAI: Geplant für die kommenden Monate.
- Microsoft: Zieltermin ist der 1. Februar 2027.
- Google: Ziel ist Anfang 2027, dann wertet Google die Kennzeichnung als Opt-out für Google-Extended.
Es lohnt sich trotzdem, die Zeile schon jetzt einzutragen. Die Änderung dauert zwei Minuten, und sie ist bereits da, wenn die einzelnen Unternehmen nachziehen.
Schritt 1: Entscheide, was du wirklich willst
Bevor du irgendetwas anfasst, teile deine Website in zwei Stapel auf.
- Seiten, die sich möglichst weit verbreiten sollen: deine Seiten zu Leistungen, Preisen, Standort und Presse. Wenn ein Modell diese Inhalte lernt, finden dich dadurch vielleicht mehr Menschen.
- Seiten, die dein Produkt sind: kostenpflichtige Anleitungen, Kurslektionen, eigene Recherchen, Rezepte oder Vorlagen, die du verkaufst.
Wenn du dein Wissen verkaufst, widersprich für die gesamte Website und lass ein paar Ausnahmen zu. Ist deine Website eher eine digitale Visitenkarte, steht wenig auf dem Spiel. Dann kannst du guten Gewissens gar nichts tun oder nur den Ordner mit deinen kostenpflichtigen Inhalten sperren. Falsch machen kannst du hier nichts, und du kannst deine Meinung später noch ändern.
Schritt 2: Finde deine robots.txt-Datei
Gib deine Domain in den Browser ein und hänge /robots.txt an, also zum Beispiel yourbusiness.com/robots.txt. Du siehst dann eine kurze Textdatei oder eine Fehlerseite, falls noch keine existiert. Kopiere den Inhalt in eine Notiz, damit du eine Sicherung hast.
Schritt 3: Öffne den Editor deiner Plattform
Wo du die Datei bearbeitest, hängt davon ab, womit deine Website gebaut wurde:
- WordPress: WordPress erstellt diese Datei automatisch, deshalb gibt es auf dem Server oft gar nichts zu öffnen. SEO-Plugins wie Yoast und Rank Math bringen einen Datei-Editor mit, oder du lädst über deinen Hoster eine eigene Datei hoch.
- Shopify: Bearbeite die Theme-Vorlage namens robots.txt.liquid.
- Wix: Suche in den SEO-Einstellungen nach dem robots.txt-Editor.
- Squarespace und andere geschlossene Baukästen: Hier ist direktes Bearbeiten möglicherweise nicht erlaubt. Schau auf der aktuellen Hilfeseite nach, bevor du lange suchst.
Wenn Cloudflare vor deiner Website sitzt, prüfe, ob dessen verwaltete robots.txt-Funktion aktiv ist, denn sie kann ergänzen oder ändern, was Besucher zu sehen bekommen.
Schritt 4: Füge die Zeilen ein
Füge am Ende der Datei eine Leerzeile ein und kopiere dann Folgendes als eigene Gruppe hinein:
User-Agent: __usage_ai-training
Disallow: /Wenn bestimmte Seiten offen bleiben sollen, ergänze eine Ausnahme. Diese Version widerspricht überall außer im Presse-Ordner:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/Zwei Fehler solltest du vermeiden. Erstens: Füge Disallow: / nicht unter der Zeile User-Agent: * ein. Diese Gruppe richtet sich an jeden Crawler, auch an Google, und könnte dich aus der Suche entfernen. Zweitens: Geh nicht davon aus, dass diese bestehende Gruppe das Training schon abdeckt. Laut Entwurf zählt eine Platzhalter-Gruppe nicht, eine Datei ohne die Kennzeichnung drückt also gar keine Präferenz aus.
Schritt 5: Teste es
Speichere die Datei, öffne dann yourbusiness.com/robots.txt in einem privaten Browserfenster und prüfe, ob die neuen Zeilen erscheinen. Wenn du die Google Search Console nutzt, zeigt dir ihr robots.txt-Bericht die Version, die Google zuletzt abgerufen hat. Kontrolliere danach stichprobenartig, ob deine wichtigsten Seiten noch laden und ob sich sonst nichts in der Datei verändert hat.
Schritt 6: Schließe die Lücke mit Regeln, die schon funktionieren
Weil die neue Kennzeichnung noch ausgerollt wird, kannst du schon heute die älteren, firmenspezifischen Regeln ergänzen. Die Crawler-Dokumentation von OpenAI unterscheidet zwischen GPTBot, der Trainingsdaten sammelt, und OAI-SearchBot, der die Suche antreibt. Der Trainings-Crawler von Anthropic heißt ClaudeBot, und Google verwendet eine Kennzeichnung namens Google-Extended. Um dem Training zu widersprechen, ohne aus der KI-Suche zu verschwinden, sperrst du nur diese drei:
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /OpenAI hat erklärt, dass die bestehenden Crawler-Regeln neben dem neuen Signal weiter gelten. Diese Zeilen sind also keine verschwendete Mühe.
Was das nicht für dich leisten kann
Mach dir nichts vor, was die Grenzen angeht. Das hier ist eine Präferenz, und sie wirkt nur, wenn Unternehmen sich dafür entscheiden, sie zu respektieren. An Inhalten, die schon in trainierten Modellen stecken, ändert sie nichts. Kleinere Scraper, die nie etwas zugesagt haben, können sie ignorieren. Private Lizenzvereinbarungen können sie aushebeln. Der Entwurf selbst ist eine individuelle Einreichung ohne formellen Status bei der IETF, und Details können sich noch ändern, also schau im Frühjahr noch einmal nach.
Es ist auch keine Urheberrechtsstrategie. Deine Rechte an deinen eigenen Werken hängen nicht von dieser Datei ab, und sie sind eine andere Frage als das, was du an KI-Ergebnissen beanspruchen kannst. Das haben wir in unserem Artikel über Urheberrechtsmythen behandelt. Wenn deine Inhalte der Kern deines Einkommens sind, bringt dir ein kurzes Gespräch mit einem Anwalt mehr als jede robots.txt-Zeile.
Deine 20-Minuten-Checkliste
- Teile deine Seiten in „weit verbreiten“ und „mein Produkt“ ein.
- Sichere deine aktuelle robots.txt.
- Füge die Gruppe __usage_ai-training hinzu, mit allen Ausnahmen.
- Ergänze GPTBot, ClaudeBot und Google-Extended, damit du schon heute abgedeckt bist.
- Teste in einem privaten Fenster und trag dir für März 2027 eine Kalendererinnerung zur Überprüfung ein.
Wenn du schon dabei bist, frag dich, was Maschinen sonst noch auf deiner Website lesen. Unser Plan für den Fall, dass KI-Agenten deiner Kunden deine Richtlinien lesen, ist eine sinnvolle nächste Station.
