robots.txt 2026: Warum pauschales Sperren oder Erlauben beides falsch ist

Die robots.txt der meisten Websites ist seit ihrer Einrichtung nicht mehr angefasst worden. Für die KI-Crawler, die seit 2023 dazugekommen sind, heißt das: Sie werden nicht nach einer bewussten Entscheidung behandelt, sondern nach einer Voreinstellung, die aus einer Zeit vor ChatGPT stammt. In der Praxis bedeutet das für viele Seiten entweder ein stillschweigendes Sperren aller neuen Bots oder ein ebenso gedankenloses Offenlassen von allem - beides ist die falsche Entscheidung, nur aus unterschiedlichen Gründen.

Warum robots.txt 2026 über KI-Sichtbarkeit entscheidet

Bis vor wenigen Jahren war robots.txt eine Randnotiz: einmal eingerichtet, um Suchmaschinen von Admin-Bereichen fernzuhalten, danach nie wieder relevant. Mit generativer KI hat sich das geändert. Jeder große Anbieter betreibt inzwischen eigene Bots, die Inhalte live abrufen, um Fragen zu beantworten oder Modelle zu trainieren - und jeder dieser Bots liest die robots.txt, bevor er zugreift. Eine falsche oder veraltete Zeile darin entscheidet damit direkt, ob Ihr Unternehmen in einer ChatGPT- oder Perplexity-Antwort als Quelle auftauchen kann.

Der Test dafür dauert eine Minute: Rufen Sie ihredomain.de/robots.txt im Browser auf. Steht dort nur eine pauschale Sperre für alle Bots, ein leerer Rumpf aus der Hosting-Vorlage oder gar nichts, ist das keine neutrale Ausgangslage, sondern eine stille Entscheidung gegen KI-Sichtbarkeit, die niemand bewusst getroffen hat.

Was robots.txt technisch tut, und was sie nicht kann

robots.txt ist eine einfache Textdatei im Root-Verzeichnis einer Domain, die für einzelne oder alle Bots festlegt, welche Pfade sie crawlen dürfen. Die Syntax kennt im Kern zwei Zeilen pro Block:

User-agent: GPTBot
Allow: /

User-agent benennt den Bot, Allow oder Disallow legen fest, welche Pfade er besuchen darf. Ein Block ohne passenden User-Agent-Namen gilt für den Bot nicht - die Sperre für User-agent: * betrifft nur Bots, die keinen eigenen, spezifischeren Block vorfinden. Wichtig ist die Grenze dieser Datei: robots.txt ist eine Bitte, keine Zugriffskontrolle. Seriöse Bots von OpenAI, Anthropic, Perplexity oder Google halten sich daran, weil es ihrem eigenen Interesse an einer funktionierenden Bot-Ökonomie entspricht. Ein Akteur, der sich nicht daran halten will, tut es schlicht nicht - robots.txt schützt nicht vor böswilligem Zugriff, sie steuert nur das Verhalten kooperativer Systeme.

Die KI-Crawler im Überblick

Nicht jeder Bot verfolgt denselben Zweck, und das ist der Punkt, den die meisten robots.txt-Dateien ignorieren:

Die ersten vier Gruppen liefern etwas zurück, das für ein Unternehmen zählt: eine Chance auf Zitierung mit Link, oder zumindest Markenpräsenz im Modellgedächtnis eines Systems, das potenzielle Kunden täglich nutzen. Die letzte Gruppe liefert in der Regel keins von beidem - die Daten verschwinden in einem Trainingsdatensatz, ohne dass jemals ein Nutzer über einen Link zurückfindet.

Pauschal sperren oder pauschal erlauben sind beide falsch

Die verbreitetste Reaktion auf KI-Crawler ist eine von zwei Übertreibungen. Die einen sperren jeden Bot mit „KI“ oder „GPT“ im Namen aus Vorsicht - und schneiden sich damit von genau den Kanälen ab, über die potenzielle Kunden heute Antworten suchen, bevor sie überhaupt eine klassische Suchmaschine öffnen. Die anderen lassen die robots.txt komplett offen, weil das der bequemste Default ist, und füttern damit ungefiltert auch Scraper, die keinerlei Gegenleistung erbringen.

Die durchdachte Position liegt dazwischen und richtet sich nach einer einzigen Frage: Bekommt Ihr Unternehmen für den Zugriff etwas zurück - Zitierung, Traffic, Markenpräsenz in einem System, das Kunden nutzen? Bots, die diese Frage mit Ja beantworten, gehören mit einem expliziten Allow in die robots.txt, nicht nur unter das stille *. Bots, die sie mit Nein beantworten, gehören ebenso explizit gesperrt. Beides erfordert, die Bots tatsächlich zu benennen, statt sich auf eine einzige pauschale Zeile zu verlassen.

• Suchmaschinen- und Antwort-Bots mit Zitat-Chance (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) explizit mit Allow versehen
• Reine Massen-Scraper ohne Backlink-Wert (CCBot, Bytespider, Diffbot) explizit mit Disallow sperren
• Sitemap-Zeile am Ende der Datei nicht vergessen, damit Crawler die Struktur der Seite überhaupt finden
• robots.txt nach jeder größeren strukturellen Änderung der Website erneut prüfen

Konkrete Maßnahmen für die nächsten 90 Tage

• Tag 1-30: aktuelle robots.txt im Browser aufrufen, jeden vorhandenen Block gegen die eigene Liste erwünschter und unerwünschter Bots prüfen
• Tag 31-60: fehlende Allow-Regeln für Antwort-Bots und fehlende Disallow-Regeln für reine Scraper ergänzen, Sitemap-Zeile prüfen
• Tag 61-90: Server-Logs auf tatsächliche Zugriffe der freigegebenen Bots kontrollieren und robots.txt bei neuen Bot-Namen nachziehen

Fazit

robots.txt ist die kleinste technische Entscheidung mit der größten Wirkung auf KI-Sichtbarkeit, und genau deshalb wird sie am häufigsten dem Zufall überlassen. Eine Konfiguration, die zwischen Antwort-Bots und reinen Scrapern unterscheidet, ist in einer Stunde umgesetzt und wirkt, solange die Website existiert. Wie Google und KI-Crawler die Inhalte hinter dieser Freigabe technisch verarbeiten, beschreiben wir im Artikel JavaScript-SEO für SPAs. Die Sitemap-Zeile am Ende der Datei verdient dabei genauso viel Aufmerksamkeit wie die Bot-Regeln selbst, wie wir im Artikel Sitemap.xml 2026 zeigen. Was aus dieser Freigabe erst ein zitierfähiges Ergebnis macht, zeigen wir im Artikel zu Schema.org für lokale Anbieter, und wie sich saubere HTTPS-Grundlagen einordnen, lesen Sie im Artikel zu HTTPS und HSTS. Für eine unverbindliche Prüfung Ihrer aktuellen robots.txt nehmen Sie gerne Kontakt mit uns auf.