Google StoreBot: Was er crawlt, warum er blockiert wird und wie man Zugriffsprobleme behebt

Google StoreBot ist der Crawler, der unauffällig Ihre Produktseiten, den Warenkorb und den Bezahlvorgang durchläuft, um zu überprüfen, ob Ihre aktuellen Preise und Verfügbarkeiten mit den Daten übereinstimmen, die Sie an das Google Merchant Center übermittelt haben. Wenn er blockiert wird, werden in Ihren Shopping-Einträgen Warnmeldungen angezeigt, und die meisten Online-Anleitungen beschränken sich auf eine einzeilige Erklärung.

Dieser Leitfaden erklärt, was StoreBot eigentlich macht, wie Sie „Storebot-Google“ in Ihren Protokollen erkennen können, auf welche Weise genau es blockiert wird und wie Sie die Blockierung aufheben können, ohne Ihren Einträgen zu schaden. Google hat seine Dokumentation zur Fehlerbehebung diesen Monat aktualisiert, und ich habe die aktuelle Version gelesen, damit Sie das nicht tun müssen.

Was Google StoreBot ist und was es crawlt

Google StoreBot ist Googles spezieller Shopping-Crawler. Er durchsucht Ihre Produktseiten, legt Artikel in den Warenkorb und durchläuft den gesamten Bestellvorgang, ohne jemals einen Kauf zu tätigen. So kann er überprüfen, ob Preis, Verfügbarkeit und Versandkosten auf Ihrer Live-Website mit den Angaben übereinstimmen, die Sie im Google Merchant Center hinterlegt haben.

Google beschreibt dies anschaulich in die eigene Dokumentation. Der Crawler nutzt maschinelles Lernen, um Formulare wie beispielsweise Versandadressen auszufüllen, und erfasst anschließend Details wie Produktpreis, Versandkosten, Verfügbarkeit im Internet und vor Ort, Gültigkeit von Gutscheinen, Lieferzeit, Zahlungsmethoden sowie die Sicherheit Ihrer Adresse und des Zahlungsvorgangs.

Es geht also um die Überprüfung, nicht um die Einstufung. Das ist der Punkt, den die meisten Ladenbesitzer falsch verstehen, daher lohnt es sich, dies klar zu betonen.

StoreBot liefert Daten an Google Shopping. Laut der Crawler-Dokumentation von Google wirken sich die Crawling-Einstellungen für den User-Agent „StoreBot-Google“ auf alle Bereiche von Google Shopping aus, beispielsweise auf den Tab „Shopping“ in der Suche und auf Google Shopping selbst.

In der Dokumentation von Google gibt es keinen Hinweis darauf, dass StoreBot Einfluss auf Ihr organisches Web-Ranking hat. Wenn ein Blogbeitrag in den Suchergebnissen nach unten rutscht, liegt das nicht an StoreBot. StoreBot kümmert sich um Ihren Feed und Ihren Checkout – das ist ein anderes System als das, das Ihre Artikel im Ranking bewertet.

Ein nützliches Detail findet sich am Ende der Beschreibung von Google: Strukturierte Daten haben Vorrang vor den vom Crawler extrahierten Informationen. Wenn Sie genaues Produktschema auf Ihren Seiten und korrigieren Sie die Daten im Merchant Center; diese Angaben haben Vorrang vor den Daten, die StoreBot von der Seite abruft.

So erkennen Sie „Storebot-Google“ in Ihren Serverprotokollen

Es gibt zwei Möglichkeiten, StoreBot zu erkennen: anhand seiner User-Agent-Zeichenfolge in Ihren Server-Logs und anhand eines Scheinkäufers, der den Bestellvorgang durchläuft, ohne etwas zu kaufen. Das „robots.txt“-Token und die Log-Kennung lauten Storebot-Google.

Google veröffentlicht zwei User-Agent-Strings, einen für Desktop-Computer und einen für Mobilgeräte. Hier sind sie genau so, wie Google sie aufführt.

Beachten Sie die Chrom/W.X.Y.Z Teil. „W.X.Y.Z“ ist ein Platzhalter für eine Versionsnummer, die sich ständig ändert. Daher sollten Sie in Ihren Protokollfiltern einen Platzhalter verwenden, anstatt eine bestimmte Version festzulegen. Das ist wichtiger, als es zunächst klingt, und ich werde später noch darauf zurückkommen.

Falls Sie die Protokolle lieber nicht lesen möchten: StoreBot taucht in Ihrem Shop auch als Kunde auf, der niemals einen Kauf tätigt. Laut Google kann es vorkommen, dass Sie einen Nutzer mit dem Vornamen „Google“ und dem Nachnamen „StoreBot“ sehen, der den Bestellvorgang durchläuft, ohne einen Kauf zu tätigen. Das ist der Crawler, der sich selbst identifiziert.

Hier liegt die Falle: Der User-Agent besteht aus einer einzigen Textzeile, und jeder kann ihn fälschen. Ein Eintrag mit dem Namen „Storebot-Google“ ist kein Beweis dafür, dass Google ihn gesendet hat. Bevor Sie ihm also vertrauen oder ihn blockieren, sollten Sie dies überprüfen.

Google selbst empfiehlt eine Reverse-DNS-Abfrage anstelle einer statischen IP-Whitelist. StoreBot crawlt aus den von Google veröffentlichten IP-Bereichen, und ein echter Treffer wird aufgelöst zu einer crawl-*.googlebot.com oder geo-crawl-*.geo.googlebot.com Gastgeber.

Ich habe eine umfassende „Verify-then-Count“-Methode für KI- und Shopping-Crawler geschrieben in Unser Leitfaden zur Analyse von Protokolldateien, und das gilt hier ganz direkt. Filtern Sie Ihre Protokolle nach „Storebot-Google“ und vergleichen Sie dann jeden Treffer mit den von Google angegebenen Bereichen, bevor Sie auch nur einer einzigen Zahl Glauben schenken.

Genau deshalb ist der Platzhalter so wichtig. Einige Bot-Verzeichnisse geben immer noch die alte, fest codierte Bezeichnung von StoreBot aus Chrome/79 Ein User-Agent aus längst vergangenen Zeiten. Wenn man anhand dieser veralteten Zeichenfolge einen Protokollfilter oder eine Firewall-Regel erstellt, werden die tatsächlichen StoreBot-Anfragen von heute unbemerkt übersehen – sodass Ihre Schlussfolgerung “StoreBot wird blockiert” oder “StoreBot war noch nie hier” bereits von vornherein falsch ist.

Warum Google StoreBot blockiert wird und wie man den Zugriff wiederherstellt

Die meisten Probleme beim Zugriff auf StoreBot lassen sich auf fünf Ursachen zurückführen, und Google nennt alle fünf in seinem Aktualisierte Dokumentation zur Fehlerbehebung: „robots.txt“-Regeln, User-Agent-Sperrlisten, IP- oder Firewall-Filterung, Bot-Fingerprinting und langsame Seiten, die zu einer Zeitüberschreitung beim Crawler führen.

Hier erfahren Sie, was die fünf Blockmodi jeweils bewirken, damit Sie wissen, worauf Sie achten müssen:

• robots.txt: Ihre Datei blockiert den Crawler – entweder namentlich oder durch eine pauschale Regel –, sodass StoreBot bereits vor dem Abrufen von Daten angewiesen wird, den Zugriff zu unterlassen.
• Blocklisten für User-Agents: Die standardmäßige Bot-Erkennung enthält eine Liste von Crawler-User-Agents, die blockiert werden sollen, und StoreBot kann standardmäßig darin enthalten sein.
• IP- und Firewall-Regeln: Eine Firewall oder ein CDN wie Cloudflare gibt automatisierten Clients einen 403- oder 404-Fehler zurück, sodass StoreBot an eine Hürde stößt, die ein Mensch niemals zu Gesicht bekommt.
• Fingerabdruck: Die Bot-Erkennung erstellt anhand des User-Agents, der IP-Adresse, der JavaScript-Variablen des Browsers und der Crawling-Rate eine Signatur und blockiert anschließend alles, was automatisiert erscheint – und genau so sieht ein Crawling-Vorgang zum Ausfüllen von Formularen beim Bezahlvorgang aus.
• Langsame Seiten: Langsam ladende Landingpages führen zu Timeouts bei Crawlern, sodass eine Seite, die bei Ihnen problemlos geladen wird, für StoreBot möglicherweise als nicht erreichbar gilt.

Die „robots.txt“-Lücke, die die meisten StoreBot-Korrekturen übersehen

Das ist der Punkt, an dem sich aufmerksame Shopbetreiber die Finger verbrennen, denn man kann Googles eigene Anleitung zur Behebung des Problems buchstabengetreu befolgen und trotzdem weiterhin gesperrt bleiben.

In Googles Anleitung zur Fehlerbehebung wird empfohlen, sicherzustellen, dass die Datei „robots.txt“ Google zulässt, und im Beispiel wird angegeben, Folgendes hinzuzufügen: User-Agent: Googlebot und User-Agent: Googlebot-image mit einem leeren Nicht zulassen. Es wird nie erwähnt, Storebot-Google, das ist das tatsächliche „robots.txt“-Token von StoreBot gemäß Googles eigene Crawler-Liste.

Stellen Sie sich also einen Shop mit einer strengen „robots.txt“-Datei vor: Diese lässt Googlebot zu und blockiert alles andere mit User-Agent: * und Disallow: /. Diese Datei entspricht der Fix-Dokumentation, besteht eine kurze Überprüfung, blockiert aber dennoch StoreBot, da die pauschale Sperre „Storebot-Google“ zusammen mit allem anderen erfasst.

Ich behaupte nicht, dass Googles Empfehlung falsch ist; ich sage lediglich, dass das Dokument mit den Korrekturhinweisen hinsichtlich des darin enthaltenen „robots.txt“-Beispiels unvollständig ist. In der vollständigen Version wird das Token von StoreBot neben dem von Googlebot ausdrücklich genannt:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

User-agent: Storebot-Google
Disallow:

Wenn Ihre robots.txt standardmäßig bereits alle seriösen Crawler zulässt, ist alles in Ordnung. Das Problem betrifft nur Shops, die ihre robots.txt auf eine namentlich festgelegte Zulassungsliste beschränken und dabei vergessen, dass StoreBot einen eigenen Namen hat.

Bot-Erkennung, Sperrlisten und Fingerprinting

Software zur Abwehr von Bots ist der zweite und vierte Blockmodus, und bei einem modernen Online-Shop wäre dies die Ursache, die ich als Erstes überprüfen würde, da mittlerweile so viele Shops irgendeine Art von Schutzmaßnahmen einsetzen.

Die standardmäßige Bot-Erkennung enthält Blocklisten mit User-Agents von Crawlern, und StoreBot kann standardmäßig auf einer solchen Liste landen. Das Fingerprinting geht noch einen Schritt weiter: Es erstellt eine Signatur aus dem User-Agent, der IP-Adresse, den JavaScript-Variablen des Browsers und der Crawling-Rate einer bestimmten IP-Adresse und blockiert anschließend alles, was als Bot erkannt wird.

Dass StoreBot Formulare ausfüllt und den Bezahlvorgang in rasender Geschwindigkeit durchläuft, ist genau das Muster, auf das diese Tools hinweisen. Wenn Sie Cloudflare, eine WAF oder eine Plugin-basierte Firewall einsetzen, sollten Sie dort zuerst nachsehen.

Überprüfen Sie Ihre Bot-Verwaltungs- und Challenge-Regeln auf Einträge, die die Checkout-Simulation blockieren, und lassen Sie dann verifizierte Google-Crawler zu, anstatt sie zu blockieren. Bei WooCommerce bedeutet dies in der Regel eine Regel in Cloudflare oder einem Sicherheits-Plugin; bei Shopify übernimmt die Plattform den Großteil davon, allerdings kann eine strenge Bot-App eines Drittanbieters dennoch Störungen verursachen.

Firewall, CDN und IP-Filterung

Dritter Blockmodus. Wenn Sie sich hinter einer Firewall oder einem CDN befinden, kann Ihr Server ausschließlich an automatisierte Clients unbemerkt einen 403- oder 404-Fehler zurückgeben, sodass ein Mensch einen funktionierenden Bezahlvorgang sieht, während StoreBot auf eine Sperre stößt.

Die von Google empfohlene Lösung widerspricht einer Gewohnheit, die viele Shops haben. Fügen Sie die IP-Adressen des Google-Such-Crawlers nicht statisch zur Whitelist hinzu, da StoreBot möglicherweise andere IP-Adressen verwendet als die, die Sie auf die Whitelist gesetzt haben.

Verwenden Sie eine Reverse-DNS-Abfrage, um zu überprüfen, ob die IP-Adresse tatsächlich zu Google gehört. Dies ist derselbe Überprüfungsschritt wie im Abschnitt „Protokolle“, und er ist besonders zuverlässig, da sich die IP-Bereiche von Google zwar ändern, das Reverse-DNS-Muster jedoch nicht.

Langsame Seiten, die zu einer Zeitüberschreitung des Crawlers führen

Der fünfte Modus wird am leichtesten übersehen, da er sich nicht wie eine Blockierung anfühlt. Langsam ladende Landingpages führen zu Timeouts bei Crawlern, sodass eine Seite, die bei Ihnen zwar einwandfrei geladen wird, aber nur langsam gecrawlt wird, für StoreBot als nicht zugänglich gewertet werden kann.

Google verweist auf PageSpeed Insights, um die Ursachen zu finden und zu beheben. Bei einem umfangreichen Katalog lohnt es sich, dies genauer unter die Lupe zu nehmen, denn eine langsame Produktvorlage, multipliziert mit Tausenden von Artikelnummern, führt zu einer Vielzahl von Crawls, bei denen das Zeitlimit überschritten wird.

So lösen Sie im Merchant Center eine erneute Indizierung durch StoreBot aus

Sobald der Zugriff wiederhergestellt ist, sollten Sie nicht einfach abwarten. Lösen Sie im Merchant Center eine erneute Indizierung aus: Gehen Sie zu Diagnostik und wählen Sie Website-Prüfung anfordern oder Überprüfung beantragen für eine Massen-Neuindizierung oder verwenden Sie Jetzt abrufen im Bereich „Feeds“ nach einem Feed suchen.

Dann gib dem Ganzen etwas Zeit. Laut Google dauert es in der Regel 12 bis 48 Stunden damit das System die Änderungen berücksichtigt und Ihre Produkte erneut genehmigt.

Wenn nach zwei Tagen weiterhin eine Warnung angezeigt wird, ist das Zugriffsproblem wahrscheinlich noch nicht wirklich behoben. Sehen Sie sich Ihre Protokolle noch einmal an und vergewissern Sie sich, dass ein verifizierter StoreBot-Zugriff einen 200er-Status und keinen 403er-Status erhält, bevor Sie davon ausgehen, dass der erneute Crawl fehlgeschlagen ist.

Der „Testkäufer“ an Ihrer Kasse: StoreBot und abgebrochene Warenkörbe

Lange bevor StoreBot sich zu erkennen gab, stießen Ladenbesitzer in ihren Bestellungen immer wieder auf denselben „Geist“: einen Kunden, der den Warenkorb füllte, den Bezahlvorgang startete und dann verschwand. Wie das Wall Street Journal berichtete (via Lunios Nacherzählung), bei dem ein Testkäufer namens John Smith in Shopify-Shops verlassene Warenkörbe zurückließ, wurde bestätigt, dass es sich dabei um Google handelte.

Die von Shop-Betreibern gemeldeten praktischen Schäden sind real, auch wenn sich der Name geändert hat. Ein Crawler, der den Bezahlvorgang durchläuft, treibt die Zahl der abgebrochenen Warenkörbe in die Höhe, und alle automatisierten E-Mails zur Rückgewinnung werden an eine gefälschte Adresse gesendet, die als unzustellbar zurückkommt, was im Laufe der Zeit Ihrer Reputation als Absender schaden kann.

Die gute Nachricht ist, dass der „Geist“ nun ein Namensschild trägt. Laut der aktuellen Dokumentation von Google erscheint der Kunde an der Kasse mit dem Vornamen „Google“ und dem Nachnamen „StoreBot“, sodass Sie ihn aus Ihren Berichten über abgebrochene Warenkörbe herausfiltern und aufhören können, ihn mit Wiedergewinnungs-E-Mails zu verfolgen.

Wenn Sie in Ihren Warenkorb-Analysen die Möglichkeit haben, nach Namen oder nach dem Storebot-Google-User-Agent auszusortieren, sollten Sie dies tun, damit Ihre tatsächliche Abbruchrate nicht durch einen Crawler verzerrt wird, der lediglich seine Aufgabe erfüllt.

Sollte man Google StoreBot blockieren?

Für fast jeden Shop gilt: Nein. Wenn Sie StoreBot blockieren, erhalten Sie Warnungen vom Merchant Center, und wenn sich das hinzieht, werden Ihre kostenlosen Einträge und lokalen Bestandsanzeigen gesperrt – was Sie weitaus mehr kostet als der Crawler jemals kosten würde.

Es gibt einen wichtigen Punkt, den man beachten sollte, da die Quellen hier unterschiedliche Angaben machen. In der Dokumentation zu Googles Crawlern heißt es, dass die gängigen Crawler, darunter auch StoreBot, beim automatischen Crawlen stets die „robots.txt“-Datei beachten. DataDome, ein Anbieter von Lösungen zur Bot-Abwehr, der diesen Datenverkehr in seinem eigenen Netzwerk überwacht, vermerkt, dass StoreBot die Vorgaben der „robots.txt“-Datei nicht einhält.

Beide sind betroffene Parteien: Google beschreibt seinen eigenen Crawler, und DataDome bietet Lösungen zur Bot-Abwehr an. Ich habe das selbst nicht getestet, daher werde ich Ihnen kein Urteil liefern, hinter dem ich nicht stehen kann.

Ein Widerspruch liegt in Googles eigener Formulierung. Dort heißt es, der Crawler halte sich “beim automatischen Crawlen” an die robots.txt-Datei, und eine Simulation des Bestellvorgangs mit Formularausfüllung sei möglicherweise kein reines automatisches Crawling. Das ist eine begrenzte Aussage und kein pauschales Versprechen.

Hier ist die Vorgehensweise, die bei beiden Auslegungen gilt: Verlassen Sie sich nicht allein auf die Datei „robots.txt“, um StoreBot zu steuern. Wenn Sie möchten, dass StoreBot einen bestimmten Bereich meidet, fügen Sie die Regel hinzu und überprüfen Sie anschließend in Ihren verifizierten Protokollen, ob das Abrufen tatsächlich eingestellt wurde, anstatt einfach davon auszugehen, dass die Regel funktioniert hat.

Und wenn Sie Ihre Listings in gutem Zustand halten möchten, gilt genau das Gegenteil: Lassen Sie den Crawler laufen und stellen Sie sicher, dass nichts in Ihrem System ihn unbemerkt blockiert. Unser Leitfaden zu den Anforderungen des Merchant Centers erläutert alles Weitere, was dafür sorgt, dass Ihr Feed weiterhin genehmigt bleibt.

Sollten Sie also zulassen, dass Google StoreBot Ihren Shop crawlt?

Meiner Meinung nach ja. Für fast jeden Shop ist dies ein Crawler, den man haben möchte, und nicht einer, gegen den man ankämpft. Er ist der Mechanismus, der die Richtigkeit Ihrer Shopping-Daten gewährleistet, und die Kosten, die durch das Blockieren entstehen – Warnungen und gesperrte Angebote – sind weitaus schlimmer als eine leicht überhöhte Zahl an abgebrochenen Warenkörben.

Das Einzige, was ich nicht tun würde, ist, mich auf eine einzige Log-Zeile oder eine einzige Aussage eines Anbieters zu diesem Thema zu verlassen. Überprüfen Sie die StoreBot-Zugriffe anhand der von Google selbst angegebenen Bereiche, bevor Sie Maßnahmen ergreifen, betrachten Sie die Aussage “hält sich immer an robots.txt” als Googles Standpunkt und nicht als feststehende Tatsache, und sollten Sie eine Einschränkung vornehmen müssen, überprüfen Sie diese in Ihren Logs, anstatt davon auszugehen.

Wenn man das richtig macht, wird StoreBot wieder unsichtbar – und genau dort gehört ein funktionierender Crawler ja auch hin.

---

Teilen Link kopieren Als Markdown kopieren

Möchtest du, dass unsere Beiträge öfter bei Google erscheinen?

Ein Schritt – und Google zeigt diese Seite in Ihren „Top Stories“ an.

Fügen Sie uns bei Google als bevorzugte Quelle hinzu

Abdullah Nouman Spezialist für E-Commerce-SEO und KI-Suchmaschinenmarketing

Abdullah Nouman ist Spezialist für E-Commerce-SEO und KI-Suchmaschinenmarketing sowie Gründer von WpConsults. Er begann 2017 als Webentwickler und wechselte dann zum Suchmaschinenmarketing – daher berät er nicht nur, sondern setzt seine Empfehlungen auch selbst um. Er unterstützt Shopify- und WooCommerce-Shops dabei, bei Google ein gutes Ranking zu erzielen und von ChatGPT zitiert zu werden, wobei sein Schwerpunkt auf dem Wandel hin zum KI-gestützten Einkauf liegt.

Arbeite mit ihm zusammen

Weiterführende Literatur

Zurück zu allen Beiträgen →

Überprüfung der Weiterleitungsketten: So finden und vereinfachen Sie jede Weiterleitungskette auf Ihrer Website So überprüfen Sie, ob Ihr CDN Ihre Seiten tatsächlich zwischenspeichert WP-Cron-Alternativen im Vergleich: Server-Cron vs. Action Scheduler vs. externe Dienste