Google StoreBot est le robot d'exploration qui parcourt discrètement vos pages produits, votre panier et votre processus de paiement afin de vérifier que vos prix et disponibilités en ligne correspondent bien aux informations que vous avez transmises à Google Merchant Center. Lorsqu'il se heurte à un blocage, vos fiches Shopping commencent à afficher des avertissements, et la plupart des guides en ligne se contentent d'une simple définition d'une ligne.
Ce guide explique ce que fait réellement StoreBot, comment repérer « Storebot-Google » dans vos journaux, les méthodes précises permettant de le bloquer, et comment le débloquer sans nuire à vos fiches produits. Google a mis à jour sa documentation sur les solutions de correction ce mois-ci, et j'ai lu la version actuelle pour que vous n'ayez pas à le faire.
Principaux enseignements
- Google StoreBot simule un processus de paiement réel afin de vérifier les informations relatives aux prix, à la disponibilité et à la livraison figurant dans votre Merchant Center, et s'identifie comme Storebot-Google dans vos journaux.
- Cela concerne uniquement les pages de Google Shopping ; rien dans la documentation de Google n'indique que cela ait un lien avec votre référencement naturel.
- Les cinq méthodes de blocage les plus courantes sont le fichier robots.txt, les listes noires d'agents utilisateurs, les règles IP ou de pare-feu, l'identification des robots par empreinte numérique et les pages lentes qui expirent.
- Le document de dépannage de Google vous conseille d'autoriser Googlebot dans le fichier robots.txt, mais ne mentionne jamais celui de StoreBot. Storebot-Google jeton ; ainsi, un fichier robots.txt très strict peut continuer à bloquer l'accès même si vous le respectez à la lettre.
- Vérifiez si un StoreBot figure dans les plages d'adresses IP de Google ou via la résolution DNS inverse avant de lui accorder votre confiance, car l'agent utilisateur peut être facilement falsifié en une seule ligne.
- Le fait de bloquer StoreBot peut entraîner des avertissements de la part de Merchant Center et la suspension de vos fiches produits ; veillez donc à le laisser effectuer son exploration, sauf si vous avez une raison valable de ne pas le faire.
Qu'est-ce que Google StoreBot et quels sont les sites qu'il explore ?
Google StoreBot est le robot d'exploration spécialisé dans le commerce en ligne de Google. Il parcourt vos pages produits, ajoute des articles au panier et suit l'intégralité du processus de paiement sans jamais effectuer d'achat, afin de vérifier que le prix, la disponibilité et les frais de livraison indiqués sur votre site correspondent bien aux informations que vous avez transmises à Google Merchant Center.
Google l'explique clairement dans sa propre documentation. Le robot d'indexation utilise l'apprentissage automatique pour remplir des formulaires tels que les adresses de livraison, puis répertorie des informations telles que le prix des produits, les frais de livraison, la disponibilité en ligne et en magasin, la validité des bons de réduction, les délais de livraison, les modes de paiement, ainsi que la sécurité de votre adresse et des étapes de paiement.
Il s'agit donc d'une vérification, et non d'un classement. C'est là que la plupart des commerçants se trompent, il est donc important de le préciser clairement.
StoreBot alimente Google Shopping. Selon la documentation de Google relative aux robots d'indexation, les préférences d'indexation de l'agent utilisateur « StoreBot-Google » s'appliquent à toutes les interfaces de Google Shopping, telles que l'onglet « Shopping » dans la page de recherche et Google Shopping lui-même.
Aucune information figurant dans la documentation de Google n'établit de lien entre StoreBot et votre référencement naturel. Si un article de blog perd des positions dans les résultats de recherche, ce n'est pas à cause de StoreBot. Ce dernier s'occupe de votre flux et de votre processus de paiement, ce qui est un système distinct de celui qui détermine le classement de vos articles.
Un détail utile figure à la fin de la description de Google : les données structurées prévalent sur ce que le robot d'indexation extrait. Si vous ajoutez schéma de produit précis sur vos pages et corriger les données dans Merchant Center, ce qui prendra le pas sur tout ce que StoreBot extrait de la page.
Comment identifier Storebot-Google dans les journaux de votre serveur
Vous pouvez repérer StoreBot de deux façons : grâce à sa chaîne d'agent utilisateur dans les journaux de votre serveur, et grâce à un faux client qui passe par la caisse sans rien acheter. Le jeton robots.txt et l'identifiant dans les journaux sont Storebot-Google.
Google publie deux chaînes d'agent utilisateur, l'une pour les ordinateurs de bureau et l'autre pour les appareils mobiles. Les voici telles que Google les présente.
| Identifiant | Google publie une chaîne de caractères |
|---|---|
| StoreBot pour ordinateur de bureau | Mozilla/5.0 (X11 ; Linux x86_64 ; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/W.X.Y.Z Safari/537.36 |
| StoreBot mobile | Mozilla/5.0 (Linux ; Android 8.0 ; Pixel 2 Build/OPD3.170816.012 ; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 |
| jeton robots.txt | Storebot-Google |
Remarquez que le Chrome/W.X.Y.Z Remarque : « W.X.Y.Z » est un espace réservé destiné à un numéro de version qui évolue constamment ; vous devez donc l'utiliser sous forme de caractère générique dans vos filtres de journalisation plutôt que de fixer une version précise. C'est plus important qu'il n'y paraît, et j'y reviendrai.
Si vous préférez ne pas consulter les journaux, StoreBot apparaît également dans votre boutique sous la forme d'un client qui ne finalise jamais son achat. Google précise que vous pourriez voir un utilisateur portant le prénom « Google » et le nom de famille « StoreBot » passer par les étapes de paiement sans effectuer d'achat. Il s'agit du robot d'indexation, qui s'identifie lui-même.
Voici le piège : l'agent utilisateur se résume à une seule ligne de texte, et n'importe qui peut le falsifier. Le fait qu'un message indique « Storebot-Google » ne prouve pas pour autant qu'il provienne de Google ; avant de lui faire confiance ou de le bloquer, vérifiez donc bien son authenticité.
Google recommande lui-même d'utiliser une recherche DNS inversée plutôt qu'une liste blanche d'adresses IP statiques. StoreBot effectue des explorations à partir des plages d'adresses IP publiées par Google, et une réponse valide renvoie vers une crawl-*.googlebot.com ou geo-crawl-*.geo.googlebot.com hôte.
J'ai écrit une méthode complète de « vérification puis comptage » pour les robots d'IA et les robots d'indexation de sites marchands dans notre guide d'analyse des fichiers journaux, et cela s'applique directement ici. Filtrez vos journaux pour rechercher « Storebot-Google », puis vérifiez chaque occurrence par rapport aux plages indiquées par Google avant de vous fier à un seul chiffre.
C'est précisément pour cette raison que le caractère générique est important. Certains répertoires de bots affichent encore l'ancienne valeur codée en dur de StoreBot Chrome/79 un agent utilisateur datant d'il y a plusieurs années. Si vous créez un filtre de journal ou une règle de pare-feu à partir de cette chaîne obsolète, celui-ci ignorera silencieusement les véritables requêtes actuelles de StoreBot ; votre conclusion selon laquelle “ StoreBot est bloqué ” ou “ StoreBot n'a jamais visité le site ” est donc erronée d'emblée.
Pourquoi Google StoreBot est bloqué, et comment rétablir l'accès
La plupart des problèmes d'accès à StoreBot se résument à cinq causes, que Google énumère toutes dans son mise à jour de la documentation relative aux correctifs: les règles du fichier robots.txt, les listes noires d'agents utilisateurs, le filtrage par adresse IP ou par pare-feu, l'identification des robots et les pages trop lentes qui provoquent un délai d'expiration du robot d'indexation.
Voici en quoi consistent exactement chacun des cinq modes de blocage, pour que vous sachiez où chercher :
- robots.txt : Votre fichier bloque l'accès au robot d'indexation, soit par son nom, soit via une règle générale, ce qui fait que StoreBot se voit refuser l'accès avant même d'avoir pu récupérer quoi que ce soit.
- Listes noires d'agents utilisateurs : La fonctionnalité de détection des bots intégrée comprend une liste d'agents utilisateurs de robots d'indexation à bloquer, et StoreBot peut y figurer par défaut.
- Règles IP et pare-feu : Un pare-feu ou un CDN tel que Cloudflare renvoie des codes d'erreur 403 ou 404 aux clients automatisés ; StoreBot se heurte donc à un obstacle que les utilisateurs humains ne rencontrent jamais.
- Prise d'empreintes digitales : La détection des bots établit une signature à partir de l'agent utilisateur, de l'adresse IP, des variables JavaScript du navigateur et de la fréquence de navigation, puis bloque tout ce qui semble automatisé, ce qui correspond exactement au comportement d'un robot effectuant une navigation automatisée pour remplir des formulaires de paiement.
- Pages lentes : Les pages d'atterrissage qui se chargent lentement provoquent des délais d'expiration des robots d'indexation ; ainsi, une page qui s'affiche correctement pour vous peut être considérée comme inaccessible par StoreBot.
Le processus de correction des problèmes d'accès à StoreBot
- Repérez « Storebot-Google » dans les journaux de votre serveur
- Vérifiez si l'adresse correspond à l'une des plages d'adresses IP de Google ou à un DNS inversé
- Déterminez lequel des cinq modes de blocage en est la cause
- Corrigez le problème : fichier robots.txt, règles relatives aux robots d'indexation, pare-feu ou vitesse de chargement des pages
- Lancer une nouvelle exploration dans Merchant Center
- Vérifier qu'un résultat validé par StoreBot renvoie désormais un code 200
La faille dans le fichier robots.txt que la plupart des correctifs de StoreBot ne prennent pas en compte
C'est justement cela qui pose problème aux propriétaires de boutiques en ligne vigilants, car même en suivant à la lettre le guide de correction fourni par Google, on peut tout de même rester bloqué.
Le document de Google consacré à la résolution des problèmes vous recommande de vous assurer que le fichier robots.txt autorise Google, et son exemple indique d'ajouter User-agent : Googlebot et User-agent : Googlebot-image avec un Interdire. Il n'en fait jamais mention Storebot-Google, qui correspond au jeton « robots.txt » réel de StoreBot, conformément à La liste des robots d'indexation de Google.
Imaginez donc un site dont le fichier robots.txt est très restrictif : il autorise Googlebot, puis bloque tout le reste avec User-agent : * et Interdire : /. Ce fichier respecte les consignes de correction, passe le contrôle à la lecture rapide, mais bloque tout de même StoreBot, car la règle générale « disallow » intercepte « Storebot-Google » en même temps que tout le reste.
Je ne dis pas que les conseils de Google sont erronés ; je dis simplement que le document de correction est incomplet en ce qui concerne son propre exemple de fichier robots.txt. La version complète mentionne explicitement le jeton de StoreBot, aux côtés de celui de Googlebot :
User-agent : Googlebot
Disallow :
User-agent : Googlebot-image
Disallow :
User-agent : Storebot-Google
Disallow :Si votre fichier robots.txt autorise déjà par défaut tous les robots d'indexation fiables, tout va bien. Le problème ne concerne que les boutiques qui restreignent l'accès via le fichier robots.txt à une liste blanche spécifique et qui oublient que StoreBot possède son propre nom.
Détection des bots, listes de blocage et identification par empreinte numérique
Les logiciels de lutte contre les bots correspondent aux modes de blocage n° 2 et n° 4 ; sur une boutique en ligne moderne, c'est la cause que je vérifierais en premier, car de nombreuses boutiques utilisent désormais un système de protection quelconque.
La détection de bots prête à l'emploi intègre des listes noires d'agents utilisateurs de robots d'indexation, et StoreBot peut se retrouver sur l'une d'entre elles par défaut. L'identification par empreinte va plus loin : elle établit une signature à partir de l'agent utilisateur, de l'adresse IP, des variables JavaScript du navigateur et de la fréquence d'indexation d'une adresse IP donnée, puis bloque tout ce qui est identifié comme un bot.
Le fait que StoreBot remplisse des formulaires et passe à la caisse à la vitesse d'une machine correspond exactement au type de comportement signalé par ces outils. Si vous utilisez Cloudflare, un WAF ou un pare-feu basé sur des plugins, c'est par là qu'il faut commencer à chercher.
Vérifiez vos règles de gestion des bots et de vérification pour voir si certaines d'entre elles bloquent la simulation de paiement, puis autorisez les robots d'indexation Google vérifiés plutôt que de les bloquer. Sur WooCommerce, cela implique généralement une règle Cloudflare ou un plugin de sécurité ; sur Shopify, la plateforme gère la plupart de ces cas, même si une application tierce stricte dédiée aux bots peut tout de même interférer.
Pare-feu, CDN et filtrage d'adresses IP
Mode « troisième bloc ». Si vous êtes derrière un pare-feu ou un CDN, votre serveur peut renvoyer discrètement des codes d'erreur 403 ou 404 uniquement aux clients automatisés ; ainsi, un utilisateur humain voit un processus de paiement qui fonctionne normalement, tandis que StoreBot se heurte à un mur.
La solution recommandée par Google va à l'encontre d'une pratique courante chez de nombreuses boutiques en ligne. N'ajoutez pas de manière statique les adresses IP du robot d'indexation de Google à votre liste blanche, car StoreBot peut utiliser des adresses IP différentes de celles que vous avez ajoutées à cette liste.
Utilisez une recherche DNS inverse pour vérifier que l'adresse IP appartient bien à Google. Il s'agit de la même étape de vérification que celle décrite dans la section consacrée aux journaux, et c'est celle qui s'avère la plus fiable, car si les plages d'adresses IP de Google changent, le modèle DNS inverse, lui, reste inchangé.
Pages lentes qui provoquent un délai d'expiration du robot d'indexation
Le cinquième cas est celui qu'on a le plus tendance à négliger, car il ne ressemble pas à un blocage. Les pages d'atterrissage lentes provoquent des délais d'expiration des robots d'indexation ; ainsi, une page qui s'affiche correctement pour vous mais qui est indexée lentement peut être considérée comme inaccessible par StoreBot.
Google recommande d'utiliser PageSpeed Insights pour identifier et corriger les problèmes. Dans le cas d'un catalogue volumineux, cela vaut vraiment la peine d'y jeter un œil, car un modèle de produit lent, multiplié par des milliers de références, entraîne un nombre considérable d'explorations aboutissant à un délai d'expiration.
Comment déclencher une nouvelle exploration par StoreBot dans Merchant Center
Une fois l'accès rétabli, ne restez pas les bras croisés. Lancez une nouvelle exploration dans Merchant Center : rendez-vous sur Diagnostics puis sélectionnez Demande de vérification du site web ou Demander une révision pour une nouvelle exploration en masse, ou utilisez Aller le chercher maintenant dans la rubrique « Flux » pour trouver un flux.
Ensuite, laissez le temps faire son œuvre. Selon Google, cela prend généralement 12 à 48 heures pour que le système prenne en compte ces modifications et valide à nouveau vos produits.
Si vous recevez toujours un avertissement au bout de deux jours, le problème d'accès n'est probablement pas réellement résolu. Consultez à nouveau vos journaux et vérifiez qu'une requête validée par StoreBot renvoie un code 200, et non un 403, avant de conclure que la nouvelle exploration a échoué.
Le faux client à votre caisse : StoreBot et les paniers abandonnés
Bien avant que StoreBot ne se fasse connaître, les commerçants ne cessaient de retrouver le même « fantôme » dans leurs commandes : un client qui remplissait son panier, entamait la procédure de paiement, puis disparaissait. Comme l'a rapporté le Wall Street Journal (via La version de Lunio), il a été confirmé que ce client mystère, un certain John Smith, qui laissait des paniers abandonnés sur des boutiques Shopify, n'était autre que Google.
Les préjudices concrets signalés par les commerçants sont bien réels, même si le nom a changé. Un robot d'indexation qui parcourt les pages de paiement fait grimper le nombre de paniers abandonnés, et les e-mails de relance automatisés sont envoyés à une fausse adresse qui renvoie des messages d'erreur, ce qui, à long terme, peut nuire à votre réputation d'expéditeur.
La bonne nouvelle, c'est que ce « fantôme » porte désormais un badge nominatif. Selon la documentation actuelle de Google, cet acheteur apparaît dans le processus de paiement avec le prénom « Google » et le nom de famille « StoreBot » ; vous pouvez donc le filtrer de vos rapports sur les paniers abandonnés et cesser de lui envoyer des e-mails de relance.
Si vos outils d'analyse du panier vous permettent d'exclure certains éléments par nom ou via l'agent utilisateur « Storebot-Google », faites-le, afin que votre taux d'abandon réel ne soit pas faussé par un robot d'indexation qui effectue simplement son travail.
Faut-il bloquer Google StoreBot ?
Pour la quasi-totalité des boutiques, la réponse est non. Bloquer StoreBot vous expose à des avertissements de Merchant Center et, si la situation perdure, à la suspension de vos annonces gratuites et de vos annonces d'inventaire local, ce qui vous coûtera bien plus cher que ce que le robot d'indexation vous a jamais coûté.
Il y a toutefois un détail important à connaître, car les sources divergent. La documentation de Google sur les robots d'indexation indique que ses robots courants, y compris StoreBot, respectent toujours le fichier robots.txt lors de l'indexation automatique. DataDome, un fournisseur de solutions de lutte contre les bots qui surveille ce trafic sur son propre réseau, signale que StoreBot ne respecte pas les consignes du fichier robots.txt.
Ces deux entreprises sont des parties prenantes : Google présente son propre robot d'indexation, tandis que DataDome commercialise des solutions de lutte contre les bots. Je n'ai pas testé cela moi-même, je ne vais donc pas vous donner un avis que je ne peux pas valider.
Une nuance réside dans la formulation même de Google. L'entreprise précise que le robot d'indexation respecte le fichier robots.txt “ lors de l'exploration automatique ”, et une simulation de paiement avec remplissage de formulaire ne relève peut-être pas d'une exploration purement automatique. Il s'agit là d'une expression qui s'applique dans un contexte précis, et non d'une promesse générale.
Voici la marche à suivre, quelle que soit l'interprétation retenue : ne vous fiez pas uniquement au fichier robots.txt pour contrôler StoreBot. Si vous souhaitez l'empêcher d'accéder à une zone spécifique, ajoutez la règle, puis vérifiez dans vos journaux validés qu'il a bien cessé d'effectuer des requêtes, plutôt que de supposer que la règle a fonctionné.
Et si vous souhaitez préserver la qualité de vos fiches, c'est justement le contraire qu'il faut faire : laissez le robot d'indexation explorer votre site et assurez-vous que rien dans votre infrastructure ne l'empêche discrètement de le faire. Notre Guide des exigences de Merchant Center couvre les autres éléments qui permettent à votre flux de rester validé.
Alors, faut-il autoriser Google StoreBot à explorer votre boutique ?
À mon avis, oui. Pour presque tous les magasins, c’est un robot d’indexation qu’il faut accueillir à bras ouverts, et non pas combattre. C’est le mécanisme qui garantit l’exactitude de vos données « Shopping », et le coût lié à son blocage (avertissements et suspension des annonces) est bien plus lourd à supporter qu’un nombre de paniers abandonnés légèrement gonflé.
La seule chose que je ne ferais pas, c’est de me fier à une seule ligne de journal ou à une seule affirmation d’un fournisseur à ce sujet. Vérifiez que les accès de StoreBot correspondent bien aux plages définies par Google avant d'agir, considérez la phrase “ respecte toujours le fichier robots.txt ” comme la position de Google plutôt que comme un fait établi, et si vous devez l'interdire, vérifiez cette restriction dans vos journaux plutôt que de vous contenter de le supposer.
Si vous faites cela correctement, StoreBot redevient invisible, ce qui est exactement la place qu'un robot d'indexation efficace doit occuper.
Vous voyez toujours des avertissements concernant StoreBot dans Merchant Center ?
Si vos fiches produits génèrent des erreurs d'accès et que vous ne parvenez pas à déterminer si StoreBot est réellement bloqué, nous contacter ou m'envoyer un courriel et je vous aiderai à analyser les journaux et à identifier le blocage. Rendre votre boutique indexable fait toute la différence entre des fiches approuvées et des suspensions discrètes.
Vous souhaitez que nos publications apparaissent plus souvent sur Google ?
En un clic, Google affichera ce site dans votre rubrique « À la une ».
