robots.txt für Shopware und Shopify im KI-Zeitalter: in KI-Antworten sichtbar, ohne die Kontrolle zu verlieren

„Sollen wir GPTBot sperren?“ Diese Frage hören Shopbetreiber inzwischen von ihrem Team, ihrer Agentur oder aus dem eigenen Bauchgefühl. Die ehrliche Antwort lautet: Das ist die falsche Frage. GPTBot ist nur einer von drei Crawlern, die OpenAI betreibt, und ausgerechnet der, der mit Ihrer Sichtbarkeit in ChatGPT am wenigsten zu tun hat.

In der Praxis sehen wir beide Fehler. Shops, die aus Vorsicht alle KI-Crawler sperren und dann in keiner KI-Antwort mehr auftauchen. Und Shops, deren robots.txt so gebaut ist, dass KI-Crawler genau die Bereiche durchsuchen, die für Google längst gesperrt sind. Dieser Beitrag zeigt, was die robots.txt wirklich steuert, welche KI-Crawler es gibt und wie eine saubere Konfiguration für Shopware 6, Shopware 5 und Shopify aussieht.

Was die robots.txt kann und was nicht

Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihres Shops, zum Beispiel unter www.ihr-shop.de/robots.txt. Seriöse Crawler lesen sie, bevor sie Seiten abrufen, und halten sich an die Regeln darin. Sie legt fest, welche Bereiche ein Crawler abrufen darf. Mehr nicht. Wie die robots.txt Ihres Shops aktuell aussieht und ob sie Fehler enthält, zeigt der kostenlose robots.txt Checker in wenigen Sekunden.

Drei Missverständnisse halten sich hartnäckig:

• Die robots.txt verhindert keine Indexierung. Eine gesperrte Seite kann trotzdem in Google erscheinen, wenn andere Seiten auf sie verlinken. Wer eine Seite aus den Suchergebnissen heraushalten will, braucht ein noindex, und dafür muss die Seite gerade nicht gesperrt sein.

• Die robots.txt schützt nichts. Sie ist eine Bitte, kein Schloss. Was öffentlich erreichbar ist, bleibt öffentlich erreichbar. Sensible Daten gehören hinter einen Login.

• Die robots.txt wirkt nicht rückwirkend. Was ein Modell bereits für sein Training gesammelt hat, holt keine neue Regel zurück.

Drei Arten von KI-Crawlern

Die grossen Anbieter trennen ihre Crawler inzwischen nach Aufgaben. Genau diese Unterscheidung entscheidet darüber, was eine Sperre bewirkt:

• Trainings-Crawler sammeln Inhalte, mit denen künftige Sprachmodelle trainiert werden. Eine Sperre bedeutet: Ihre Inhalte fliessen nicht in neue Modelle ein. Mit der Sichtbarkeit in der KI-Suche hat das direkt nichts zu tun.

• Such-Crawler bauen den Index auf, aus dem die KI-Suche ihre Antworten und Quellen bezieht. Wer sie sperrt, verschwindet aus den Antworten.

• Nutzer-Abrufe passieren, wenn ein Mensch im Chat eine Frage stellt und der Assistent dafür live eine Seite öffnet. Weil ein Mensch den Abruf auslöst, behandeln manche Anbieter diese Zugriffe nicht wie klassisches Crawling und wenden die robots.txt dabei nicht in jedem Fall an.

Zwei Besonderheiten sind für Händler wichtig. Google-Extended ist kein eigener Crawler, sondern ein Steuerungszeichen: Es legt fest, ob Ihre Inhalte für Gemini genutzt werden dürfen, ändert aber nichts an der Google-Suche und den KI-Übersichten, die über den normalen Googlebot laufen. Und CCBot von Common Crawl sammelt einen frei verfügbaren Datensatz, mit dem viele Sprachmodelle trainiert werden. Wer Training grundsätzlich nicht möchte, sollte ihn mit sperren.

Ein Nutzer-Abruf in der Praxis: Claude öffnet während der Antwort eine Produktseite eines Shops und baut die Informationen direkt ein (Screenshot, Mai 2025).

Was auf dem Spiel steht

KI-Assistenten beantworten Kauffragen inzwischen mit konkreten Produkten: Name, Bild, Preis, Verfügbarkeit und ein Link in den Shop. Die Daten dafür stammen aus Ihren Produktseiten, aus strukturierten Daten, aus Preis- und Versandangaben und aus frei zugänglichen Produktbildern. Was ein Such-Crawler nicht abrufen darf, kann in diesen Antworten nicht auftauchen.

Kauffrage in Perplexity: Die Antwort nennt Modelle, Preise und Shops und verlinkt direkt dorthin (Screenshot, Mai 2025).

Die Entscheidung: Suche ja, Training nach Wahl

Für die allermeisten Onlineshops ist die Sache klar: Such-Crawler und Nutzer-Abrufe gehören zugelassen. Wer sie sperrt, verzichtet freiwillig auf einen Vertriebskanal, in dem Kaufentscheidungen fallen, bevor ein Kunde überhaupt eine Suchmaschine öffnet.

Beim Training gibt es gute Gründe für beide Wege. Dafür spricht, dass künftige Modelle Ihre Marke, Ihr Sortiment und Ihre Fachkompetenz kennen und Sie auch ohne Live-Suche nennen können. Dagegen spricht, dass Sie Inhalte wie eigene Ratgeber oder Produkttexte nicht kostenlos für fremde Modelle bereitstellen möchten. In Deutschland gilt ein maschinenlesbarer Nutzungsvorbehalt, etwa über die robots.txt, zudem als eine Möglichkeit, der Nutzung für Text- und Data-Mining zu widersprechen (§ 44b UrhG). Eine Pflicht zur Entscheidung in eine Richtung gibt es nicht, wichtig ist nur, dass sie bewusst getroffen wird.

Die häufigste Falle: Gruppen in der robots.txt

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen User-agent und enthält die Regeln für genau diese Crawler. Die Gruppe User-agent: * gilt für alle Crawler, die nicht namentlich genannt sind.

Und hier liegt die Falle: Sobald ein Crawler eine eigene Gruppe bekommt, ignoriert er die allgemeine Gruppe vollständig. Viele Anleitungen empfehlen, KI-Crawler mit einer eigenen Gruppe „gezielt zuzulassen“, etwa so:

User-agent: GPTBot
Disallow: /checkout/
Allow: /

Damit darf GPTBot jetzt alles crawlen, was nicht ausdrücklich in seiner Gruppe steht: interne Suche, Filterkombinationen, Merkzettel und alles andere, was unter User-agent: * gesperrt war.

Die saubere Lösung ist einfacher. Alle Regeln für Ihren Shop stehen in der allgemeinen Gruppe, und sie gelten automatisch für jeden Crawler, auch für Such-Crawler der KI-Anbieter. Eigene Gruppen bekommen nur die Crawler, die Sie vollständig aussperren möchten:

# Training durch KI-Modelle nicht erlauben (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /

Wer Training erlauben möchte, lässt diesen Block einfach weg.

Vorlage für Shopware 6

Diese Vorlage deckt die typischen Bereiche ab, die Crawler nicht brauchen, und hält Filter- und Sortierungsvarianten aus dem Crawling heraus. Die Seitenzahlen der Kategorien (?p=) bleiben bewusst offen, damit Google alle Produkte findet.

User-agent: *
Disallow: /account
Disallow: /checkout
Disallow: /wishlist
Disallow: /search
Disallow: /suggest
Disallow: /widgets
Disallow: /admin
Disallow: /api
Disallow: /store-api
Disallow: /*?*order=
Disallow: /*?*properties=
Disallow: /*?*manufacturer=
Disallow: /*?*min-price=
Disallow: /*?*max-price=
Disallow: /*?*rating=
Disallow: /*?*shipping-free=

Sitemap: https://www.ihr-shop.de/sitemap.xml

Drei Hinweise für die Praxis. Regeln sind Präfixe: Disallow: /account sperrt auch eine Kategorie, deren Adresse mit /account beginnt. Prüfen Sie Ihre Kategorie-URLs deshalb vor dem Einsatz. Arbeitet Ihr Shop mit Sprachpräfixen wie /en/ oder /fr/, brauchen die Regeln eine Variante mit vorangestelltem Platzhalter, zum Beispiel Disallow: /*/checkout. Und Verzeichnisse für Bilder, Vorschaubilder, CSS und JavaScript wie /media/, /thumbnail/, /theme/ und /bundles/ dürfen niemals gesperrt werden, sonst sieht Google eine kaputte Seite.

Vorlage für Shopware 5

Shopware 5 wird seit Mitte 2024 vom Hersteller nicht mehr mit Updates versorgt. Solange der Shop läuft, sollte er trotzdem sauber gesteuert sein:

User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /register/
Disallow: /note/
Disallow: /compare/
Disallow: /ticket/
Disallow: /backend/
Disallow: /recovery/
Disallow: /search
Disallow: /widgets/checkout/
Disallow: /widgets/compare/
Disallow: /widgets/notes/
Disallow: /*?o=
Disallow: /*&o=
Disallow: /*?n=
Disallow: /*&n=
Disallow: /*?f=
Disallow: /*&f=
Disallow: /*?min=
Disallow: /*&min=
Disallow: /*?max=
Disallow: /*&max=

Sitemap: https://www.ihr-shop.de/sitemap.xml

Wichtig: In Shopware 5 lädt die Storefront Einkaufswelten und Listings über /widgets/. Sperren Sie deshalb nur die genannten Unterverzeichnisse, nie /widgets/ komplett. Wer den Umstieg plant, findet die Optionen auf der Seite zur Migration von Shopware 5.

Shopify: die robots.txt.liquid

Shopify liefert für jeden Shop eine robots.txt mit sinnvollen Standardregeln aus. Warenkorb, Checkout, Kundenkonto, interne Suche und Sortierungsvarianten der Kollektionen sind darin bereits gesperrt. Ändern lässt sie sich über die Vorlage robots.txt.liquid im Theme. Ersetzen Sie dabei nie die ganze Datei, sondern ergänzen Sie die Standardregeln. So bleiben auch künftige Anpassungen von Shopify wirksam:

{%- for group in robots.default_groups -%}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{%- endfor %}

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Der zweite Teil ist wieder optional und nur nötig, wenn Sie Training ausschliessen möchten. Mehr zu den Besonderheiten der Plattform unter Shopify SEO.

Prüfen und überwachen

Eine robots.txt ist schnell geschrieben und schnell falsch. Deshalb gehören nach jeder Änderung drei Prüfungen dazu. Der robots.txt-Bericht in der Google Search Console zeigt, welche Version Google gelesen hat und ob es Fehler gibt. Die URL-Prüfung zeigt für einzelne Seiten, ob sie abgerufen werden dürfen. Und die Server-Logs zeigen ungefiltert, welche Crawler tatsächlich kommen und welche Adressen sie abrufen.

Ein Punkt wird häufig übersehen: Firewalls, CDNs und Bot-Schutz bei Hostern sperren KI-Crawler teilweise standardmässig, unabhängig von Ihrer robots.txt. Prüfen Sie deshalb auch dort, ob Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot durchgelassen werden. Ob ein Zugriff wirklich vom angegebenen Anbieter stammt, lässt sich über die veröffentlichten IP-Bereiche der Anbieter prüfen, denn viele Bots geben sich nur als bekannte Crawler aus.

Was Sie nicht mit der robots.txt lösen

Für manche Probleme ist die robots.txt das falsche Werkzeug. Veraltete Preise oder Lieferzeiten in KI-Antworten entstehen nicht durch zu viel Crawling, sondern durch Daten, die zu selten abgerufen werden oder widersprüchlich sind. Aktuelle strukturierte Daten auf der Produktseite und ein gepflegter Produktfeed helfen hier mehr als jede Sperre. Gegen Serverlast durch aggressive Bots hilft eine Begrenzung der Zugriffe auf dem Server oder im CDN. Die Angabe Crawl-delay in der robots.txt wird von Google ignoriert und von den meisten KI-Anbietern nicht offiziell unterstützt. Und Inhalte, die niemand sehen soll, gehören hinter einen Login, nicht in eine Verbotsliste.

Ob Ihr Shop technisch für KI-Assistenten und KI-Agenten lesbar ist, zeigt der kostenlose Agentic Commerce Scanner. Wie Sie in KI-Antworten gezielt sichtbar werden, beschreibt die Seite GEO für Onlineshops. Für Shopware-Shops finden Sie die technischen Grundlagen unter Shopware SEO.

Ihre robots.txt prüfen lassen

Sie möchten wissen, ob Ihre robots.txt Such-Crawler versehentlich aussperrt oder KI-Crawlern mehr erlaubt als Google? Das Team von arboro prüft die Konfiguration Ihres Shopware- oder Shopify-Shops, gleicht sie mit Server-Logs und Search Console ab und setzt die Korrekturen direkt um.

Stand der Crawler-Angaben: November 2026. Die Anbieter passen ihre Crawler regelmässig an.