Zum Hauptinhalt springen
Kontakt

robots.txt 2026: Warum pauschales Sperren oder Erlauben beides falsch ist

5 Min. LesezeitVeröffentlicht am 19. Mai 2026Aktualisiert am 09. September 2026

Dieser Beitrag wurde mit KI-Unterstützung erstellt und redaktionell geprüft.

Inhalt

Die robots.txt der meisten Websites ist seit ihrer Einrichtung nicht mehr angefasst worden. Für die KI-Crawler, die seit 2023 dazugekommen sind, heißt das: Sie werden nicht nach einer bewussten Entscheidung behandelt, sondern nach einer Voreinstellung, die aus einer Zeit vor ChatGPT stammt. In der Praxis bedeutet das für viele Seiten entweder ein stillschweigendes Sperren aller neuen Bots oder ein ebenso gedankenloses Offenlassen von allem - beides ist die falsche Entscheidung, nur aus unterschiedlichen Gründen.

Kurz gesagt

robots.txt entscheidet, welche KI-Crawler Ihre Inhalte überhaupt lesen dürfen. Wer alle Bots pauschal sperrt, verschwindet aus KI-Antworten. Wer alle pauschal erlaubt, füttert auch Scraper ohne jeden Gegenwert. Die richtige Konfiguration unterscheidet nach Zweck des Bots, nicht nach Bauchgefühl.

Warum robots.txt 2026 über KI-Sichtbarkeit entscheidet

Bis vor wenigen Jahren war robots.txt eine Randnotiz: einmal eingerichtet, um Suchmaschinen von Admin-Bereichen fernzuhalten, danach nie wieder relevant. Mit generativer KI hat sich das geändert. Jeder große Anbieter betreibt inzwischen eigene Bots, die Inhalte live abrufen, um Fragen zu beantworten oder Modelle zu trainieren - und jeder dieser Bots liest die robots.txt, bevor er zugreift. Eine falsche oder veraltete Zeile darin entscheidet damit direkt, ob Ihr Unternehmen in einer ChatGPT- oder Perplexity-Antwort als Quelle auftauchen kann.

Der Test dafür dauert eine Minute: Rufen Sie ihredomain.de/robots.txt im Browser auf. Steht dort nur eine pauschale Sperre für alle Bots, ein leerer Rumpf aus der Hosting-Vorlage oder gar nichts, ist das keine neutrale Ausgangslage, sondern eine stille Entscheidung gegen KI-Sichtbarkeit, die niemand bewusst getroffen hat.

Was robots.txt technisch tut, und was sie nicht kann

robots.txt ist eine einfache Textdatei im Root-Verzeichnis einer Domain, die für einzelne oder alle Bots festlegt, welche Pfade sie crawlen dürfen. Die Syntax kennt im Kern zwei Zeilen pro Block:

User-agent: GPTBot
Allow: /

User-agent benennt den Bot, Allow oder Disallow legen fest, welche Pfade er besuchen darf. Ein Block ohne passenden User-Agent-Namen gilt für den Bot nicht - die Sperre für User-agent: * betrifft nur Bots, die keinen eigenen, spezifischeren Block vorfinden. Wichtig ist die Grenze dieser Datei: robots.txt ist eine Bitte, keine Zugriffskontrolle. Seriöse Bots von OpenAI, Anthropic, Perplexity oder Google halten sich daran, weil es ihrem eigenen Interesse an einer funktionierenden Bot-Ökonomie entspricht. Ein Akteur, der sich nicht daran halten will, tut es schlicht nicht - robots.txt schützt nicht vor böswilligem Zugriff, sie steuert nur das Verhalten kooperativer Systeme.

Die KI-Crawler im Überblick

Nicht jeder Bot verfolgt denselben Zweck, und das ist der Punkt, den die meisten robots.txt-Dateien ignorieren:

BotBetreiberZweck
GPTBot, OAI-SearchBot, ChatGPT-UserOpenAILive-Abruf für ChatGPT-Antworten und Suche
ClaudeBot, Claude-SearchBot, Claude-UserAnthropicLive-Abruf für Claude-Antworten und Modelltraining
PerplexityBot, Perplexity-UserPerplexityLive-Abruf für Antworten mit Quellenangabe
Google-ExtendedGoogleSeparater Schalter für KI-Training, unabhängig vom klassischen Googlebot
Applebot, Applebot-ExtendedAppleSpotlight-Suche und Apple-Intelligence-Training
CCBot, Bytespider, DiffbotCommon Crawl, ByteDance, DiffbotMassenhaftes Scrapen für fremde Trainingsdatensätze, meist ohne Zitat oder Traffic zurück

Die ersten vier Gruppen liefern etwas zurück, das für ein Unternehmen zählt: eine Chance auf Zitierung mit Link, oder zumindest Markenpräsenz im Modellgedächtnis eines Systems, das potenzielle Kunden täglich nutzen. Die letzte Gruppe liefert in der Regel keins von beidem - die Daten verschwinden in einem Trainingsdatensatz, ohne dass jemals ein Nutzer über einen Link zurückfindet.

Pauschal sperren oder pauschal erlauben sind beide falsch

Die verbreitetste Reaktion auf KI-Crawler ist eine von zwei Übertreibungen. Die einen sperren jeden Bot mit „KI“ oder „GPT“ im Namen aus Vorsicht - und schneiden sich damit von genau den Kanälen ab, über die potenzielle Kunden heute Antworten suchen, bevor sie überhaupt eine klassische Suchmaschine öffnen. Die anderen lassen die robots.txt komplett offen, weil das der bequemste Default ist, und füttern damit ungefiltert auch Scraper, die keinerlei Gegenleistung erbringen.

Die durchdachte Position liegt dazwischen und richtet sich nach einer einzigen Frage: Bekommt Ihr Unternehmen für den Zugriff etwas zurück - Zitierung, Traffic, Markenpräsenz in einem System, das Kunden nutzen? Bots, die diese Frage mit Ja beantworten, gehören mit einem expliziten Allow in die robots.txt, nicht nur unter das stille *. Bots, die sie mit Nein beantworten, gehören ebenso explizit gesperrt. Beides erfordert, die Bots tatsächlich zu benennen, statt sich auf eine einzige pauschale Zeile zu verlassen.

  • Suchmaschinen- und Antwort-Bots mit Zitat-Chance (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) explizit mit Allow versehen
  • Reine Massen-Scraper ohne Backlink-Wert (CCBot, Bytespider, Diffbot) explizit mit Disallow sperren
  • Sitemap-Zeile am Ende der Datei nicht vergessen, damit Crawler die Struktur der Seite überhaupt finden
  • robots.txt nach jeder größeren strukturellen Änderung der Website erneut prüfen

Konkrete Maßnahmen für die nächsten 90 Tage

  • Tag 1-30: aktuelle robots.txt im Browser aufrufen, jeden vorhandenen Block gegen die eigene Liste erwünschter und unerwünschter Bots prüfen
  • Tag 31-60: fehlende Allow-Regeln für Antwort-Bots und fehlende Disallow-Regeln für reine Scraper ergänzen, Sitemap-Zeile prüfen
  • Tag 61-90: Server-Logs auf tatsächliche Zugriffe der freigegebenen Bots kontrollieren und robots.txt bei neuen Bot-Namen nachziehen

Fazit

robots.txt ist die kleinste technische Entscheidung mit der größten Wirkung auf KI-Sichtbarkeit, und genau deshalb wird sie am häufigsten dem Zufall überlassen. Eine Konfiguration, die zwischen Antwort-Bots und reinen Scrapern unterscheidet, ist in einer Stunde umgesetzt und wirkt, solange die Website existiert. Wie Google und KI-Crawler die Inhalte hinter dieser Freigabe technisch verarbeiten, beschreiben wir im Artikel JavaScript-SEO für SPAs. Die Sitemap-Zeile am Ende der Datei verdient dabei genauso viel Aufmerksamkeit wie die Bot-Regeln selbst, wie wir im Artikel Sitemap.xml 2026 zeigen. Was aus dieser Freigabe erst ein zitierfähiges Ergebnis macht, zeigen wir im Artikel zu Schema.org für lokale Anbieter, und wie sich saubere HTTPS-Grundlagen einordnen, lesen Sie im Artikel zu HTTPS und HSTS. Für eine unverbindliche Prüfung Ihrer aktuellen robots.txt nehmen Sie gerne Kontakt mit uns auf.

Wollen Sie wissen, welche KI-Crawler Ihre Website aktuell sperrt?
Unverbindlich anfragen

Häufige Fragen

Was passiert, wenn Sie GPTBot in der robots.txt sperren?

ChatGPT kann Ihre Inhalte dann nicht mehr live abrufen und zitieren. Bei einer Suchanfrage, zu der Ihre Seite inhaltlich passen würde, taucht Ihr Unternehmen dort schlicht nicht auf - unabhängig davon, wie gut der Inhalt sonst wäre.

Schadet häufiger Zugriff durch KI-Crawler der Serverleistung?

Bei seriösen Anbietern in der Regel nicht spürbar. Wer trotzdem Lastspitzen beobachtet, kann für einzelne Bots einen Crawl-Delay setzen oder den Zugriff auf bestimmte Pfade beschränken, statt den ganzen Bot zu sperren.

Brauchen Sie überhaupt eine robots.txt, wenn Sie nichts zu verbergen haben?

Ja. Auch ohne ein einziges Disallow ist eine gepflegte robots.txt mit expliziten Freigaben für die relevanten Bots ein Signal, dass jemand sich mit der Sichtbarkeit der Seite befasst hat - statt dem Standard des Hosting-Baukastens ausgeliefert zu sein.

Reicht robots.txt allein für Sichtbarkeit in KI-Antworten?

Nein. robots.txt entscheidet nur, ob ein Crawler überhaupt zugreifen darf. Ob eine KI die Inhalte danach auch versteht und zitiert, hängt zusätzlich von serverseitig gerendertem HTML und sauberem Schema-Markup ab.

Wo genau muss die robots.txt liegen, damit sie funktioniert?

Ausschließlich im Root-Verzeichnis der Domain, erreichbar unter ihredomain.de/robots.txt. Eine Datei in einem Unterordner wird von keinem Crawler gefunden und hat keinerlei Wirkung.

Passende Leistung

Das könnte Sie auch interessieren

Jetzt kostenlos sichern

Tragen Sie Ihre E-Mail-Adresse ein. Sie erhalten direkt einen Bestätigungslink - nach Klick darauf ist die Checkliste sofort verfügbar.

Pflichtfeld

Lassen Sie uns über Ihr Projekt sprechen

Auf WhatsApp schreiben