Googlebot

Jede Seite Ihres Shops hat einen ersten Besucher, lange bevor ein Kunde kommt: den Googlebot. Er entscheidet nicht über Rankings, aber er entscheidet, ob eine Seite überhaupt die Chance auf ein Ranking bekommt. Für Onlineshops mit Tausenden Produkten, Varianten und Filtern ist das keine Formalität. Hier zeigt sich, ob Google seine Zeit mit Ihren wichtigsten Seiten verbringt oder mit endlosen Parameter-Adressen.

Was genau der Googlebot ist

„Googlebot“ ist der Sammelbegriff für die Crawler der Google-Suche. Seit der Umstellung auf Mobile-First-Indexing crawlt Google überwiegend mit dem Smartphone-Crawler. Massgeblich für das Ranking ist also die mobile Version Ihres Shops, nicht die Desktop-Version. Daneben gibt es spezialisierte Crawler:

• Googlebot Image und Googlebot Video: für Bilder und Videos in der Bilder- und Videosuche.

• Storebot-Google: ruft Produktseiten für Google Shopping und das Merchant Center ab, etwa um Preise und Verfügbarkeit zu prüfen.

• Google-InspectionTool: wird aktiv, wenn Sie in der Search Console eine URL prüfen.

• Google-Extended: ist kein eigener Crawler, sondern ein Steuerungszeichen in der robots.txt. Damit legen Sie fest, ob Ihre Inhalte für das Training von Gemini genutzt werden dürfen. Auf die Google-Suche und die KI-Übersichten hat es keinen Einfluss.

So arbeitet der Googlebot

• Entdecken: Neue Adressen findet der Googlebot über Links, interne wie externe, und über die XML-Sitemap. Eine Sitemap enthält höchstens 50'000 URLs, grosse Shops teilen sie auf mehrere Dateien auf.

• Abrufen: Der Googlebot lädt die Seite über HTTP/1.1 oder HTTP/2. Von jeder HTML-Datei verarbeitet er die ersten 15 MB, Bilder, CSS und JavaScript ruft er gesondert ab. Er passt seine Geschwindigkeit an den Server an: Antwortet der Shop langsam oder mit Fehlern, kommt er seltener.

• Rendern: Google führt JavaScript aus und sieht die Seite ähnlich wie ein Browser. Das Rendern kann aber zeitversetzt passieren. Inhalte, die nur per JavaScript entstehen, werden deshalb später oder unvollständig erfasst.

• Indexieren: Erst danach entscheidet Google, ob die Seite in den Index aufgenommen wird. Gecrawlt heisst nicht indexiert.

Crawl-Budget: warum es für Shops zählt

Google wendet für jede Website nur begrenzte Ressourcen auf, das sogenannte Crawl-Budget. Für eine kleine Unternehmensseite spielt das kaum eine Rolle, für einen Shop sehr wohl. Ein Rechenbeispiel: 5'000 Produkte in 100 Kategorien, jede Kategorie mit Filtern für Farbe, Grösse, Marke und Preis sowie mehreren Sortierungen. Daraus entstehen schnell Hunderttausende Adressen wie /trailschuhe-damen?farbe=rot&groesse=39&sort=preis. Crawlt der Googlebot diese Varianten, fehlt ihm die Zeit für neue Produkte und geänderte Preise.

Die wichtigsten Hebel:

• Unwichtige Bereiche aussperren: Warenkorb, Kundenkonto, interne Suchergebnisse und Filterkombinationen ohne eigene Nachfrage gehören per robots.txt gesperrt oder gar nicht erst verlinkt.

• Eine saubere Sitemap: Sie enthält nur Seiten, die indexiert werden sollen, keine Weiterleitungen, keine Fehlerseiten, keine Varianten.

• Klare Signale bei Doppelungen: Der Canonical-Tag zeigt Google bei ähnlichen Seiten, welche die massgebliche ist. Mehr dazu unter Duplicate Content.

• Saubere Statuscodes: Endgültig entfernte Produkte liefern 404 oder 410 oder leiten auf einen passenden Nachfolger weiter. Endlose Weiterleitungsketten kosten Crawl-Zeit.

• Ein schneller Server: Je schneller der Shop antwortet, desto mehr Seiten schafft der Googlebot. Ansatzpunkte zeigt Google PageSpeed Insights.

robots.txt, noindex, canonical, nofollow: was wofür da ist

Die vier Werkzeuge werden oft verwechselt, und genau daraus entstehen die teuersten Fehler:

• robots.txt: verbietet das Crawlen. Sie ist kein Zugriffsschutz und verhindert die Indexierung nicht sicher. Eine gesperrte Adresse kann im Index landen, wenn andere Seiten auf sie verlinken.

• noindex: erlaubt das Crawlen, verbietet aber die Aufnahme in den Index. Das ist das richtige Mittel, um eine Seite aus den Suchergebnissen herauszuhalten.

• canonical: sagt Google, welche von mehreren ähnlichen Seiten gemeint ist. Google nimmt das als starken Hinweis, nicht als Befehl.

• nofollow, sponsored, ugc: kennzeichnen Links, die keine redaktionelle Empfehlung sind. Seit 2019 behandelt Google sie als Hinweis. Um Seiten aus dem Index zu halten, taugen sie nicht. Mehr zu Link-Attributen unter Linkbuilding.

Ein klassischer Fehler: Eine Seite steht auf noindex und ist gleichzeitig per robots.txt gesperrt. Dann darf der Googlebot die Seite nicht abrufen und sieht das noindex nie. Die Seite kann trotzdem im Index bleiben.

Was der Googlebot oft nicht sieht

• Inhalte, die erst nach einem Klick nachgeladen werden, etwa Produktbeschreibungen in Reitern, die per JavaScript erst bei Bedarf entstehen.

• Endloses Scrollen ohne echte Seitenlinks: Ohne Links auf Seite 2, 3 und folgende findet der Googlebot die weiteren Produkte nicht.

• Inhalte hinter Login oder Länderauswahl: Was eine Eingabe verlangt, bleibt für den Bot verschlossen.

• Gesperrte Ressourcen: Sind CSS oder JavaScript per robots.txt blockiert, sieht Google eine kaputte Seite.

• Übereifriger Bot-Schutz: Firewalls und Bot-Abwehr bei Hostern oder CDNs blockieren manchmal auch den echten Googlebot. Das bemerkt man oft erst, wenn Seiten aus dem Index fallen.

Den Googlebot beobachten

• Crawling-Statistiken in der Search Console: wie oft der Googlebot kommt, wie schnell der Server antwortet und welche Fehler auftreten.

• Bericht zur Seitenindexierung: Besonders aufschlussreich sind zwei Meldungen. „Gefunden, zurzeit nicht indexiert“ heisst, Google kennt die Adresse, hat sie aber noch nicht abgerufen, oft ein Zeichen für knappes Crawl-Budget. „Gecrawlt, zurzeit nicht indexiert“ heisst, Google hat die Seite gesehen und für nicht wichtig genug befunden, meist ein Qualitäts- oder Doppelungsthema.

• URL-Prüfung: zeigt für eine einzelne Seite, was Google sieht, und erlaubt, die Indexierung anzustossen. Wie das geht, beschreibt der Beitrag Google-Indexierung beantragen.

• Logfile-Analyse: Die Server-Logs zeigen ungefiltert, welche Adressen der Googlebot wirklich abruft. Bei grossen Shops ist das der ehrlichste Blick auf das Crawl-Budget.

• Echtheit prüfen: Viele Bots geben sich als Googlebot aus. Ob ein Zugriff wirklich von Google stammt, zeigt ein Reverse-DNS-Abgleich.

Googlebot und KI-Crawler

Neben dem Googlebot besuchen heute weitere Crawler Ihren Shop, etwa GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic oder PerplexityBot. Sie folgen eigenen Regeln und lassen sich in der robots.txt einzeln erlauben oder sperren. Wer in KI-Antworten genannt werden will, sollte die Crawler für die Suche zulassen. Mehr dazu unter Generative Engine Optimization. Welche dieser Crawler Ihre robots.txt heute zulässt, zeigt der kostenlose robots.txt Checker.

Wie der Googlebot in Shopware und Shopify gesteuert wird, zeigen Shopware SEO und Shopify SEO. Den Gesamtzusammenhang beschreibt SEO für Onlineshops.

Der Googlebot ist der erste Besucher jeder Seite und der einzige, der alle Seiten sieht. Wer ihm den Weg zu den wichtigen Seiten frei macht und ihn von den unwichtigen fernhält, schafft die Grundlage, auf der jede weitere SEO-Massnahme aufbaut.