Les statistiques améliorent-elles les citations en IA ? Mise à l'épreuve du corpus statistique GEO

De nombreux conseils en matière de GEO reposent sur une promesse bien simple : ajoutez des statistiques, et vous obtiendrez davantage de citations dans les résultats de recherche. Cette idée est répétée comme s'il s'agissait d'une vérité établie, alors qu'elle remonte presque exclusivement à un seul article publié en 2023, que très peu de ceux qui le citent ont réellement lu.

Je l'ai donc lu et j'ai recoupé les chiffres avec la source. Voici ce que l'étude a réellement mesuré, en quoi la version populaire se trompe, et comment vérifier cette hypothèse sur votre propre contenu avant de vous y fier.

D'où vient réellement le canon statistique GEO ?

Vous avez sans doute déjà vu cette règle énoncée comme une vérité absolue : “ Ajoutez 15 statistiques par article et obtenez 50% citations en plus dans les résultats de recherche. ” Ou encore que “ 44% des citations proviennent des 30% premiers mots de la page ”, ou que “ les statistiques augmentent la visibilité dans les moteurs de recherche de 30 à 40% ”. Presque tous ces chiffres proviennent d’une seule source : l’article GEO : Optimisation générative des moteurs par Aggarwal et ses collègues (KDD ’24), avec des auteurs issus de Princeton, de l’Allen Institute for AI, de Georgia Tech et de l’IIT Delhi.

Ils ont mis au point un benchmark baptisé GEO-bench, comprenant environ 10 000 requêtes issues de neuf sources, et ont testé différentes modifications de contenu par rapport à des moteurs génératifs en utilisant deux indicateurs de visibilité : un indicateur de nombre de mots ajusté en fonction de la position et un indicateur plus subjectif basé sur les “ impressions ”. Les trois modifications de contenu les plus performantes se présentaient comme suit (augmentation relative par rapport à une base de référence sans optimisation) :

Méthode (par rapport à l'absence d'optimisation)	Indicateur de visibilité du nombre de mots	Mesure de l'impression subjective
Ajout à l'offre	~+41%	~+28%
Statistiques - Addition	~+31%	~+23%
Références	~+28% (jusqu'à +115% pour les pages de rang 5)	~+13%

Deux éléments sautent aux yeux dès que l'on examine le tableau plutôt que le slogan. Premièrement, l'étude a mesuré deux indicateurs, et non un seul, et les chiffres varient d'un indicateur à l'autre ; ainsi, un simple “ +41% ” hors contexte ne représente déjà qu'une citation partielle. Deuxièmement, les statistiques n’ont jamais été la méthode principale : le titre « +41% » concerne l’ajout de citations, et la plus forte augmentation, « +115% », provient de l’ajout de citations à des pages qui se situaient initialement en bas du classement de recherche (5e rang).

Ainsi, l’affirmation selon laquelle “ les statistiques augmentent la visibilité de 30 à 40% ” se situe au moins dans la bonne fourchette pour l’indicateur du nombre de mots, où les statistiques se situaient autour de +31%. Mais l’affirmation “ ajoutez 15 statistiques par article et obtenez 50% citations supplémentaires ” n’apparaît nulle part dans l’article ; l’étude n’a jamais prescrit un nombre précis de statistiques, et elle n’a jamais produit de chiffre net de 50% pour celles-ci.

À un moment donné, entre le PDF original et la diapositive du carrousel, une amélioration de référence sur deux indicateurs s'est transformée en une recette précise accompagnée d'un chiffre, et le mérite a été attribué aux statistiques alors que les données indiquaient autre chose. C'est sur ce point que je voudrais insister, car ce chiffre joue un rôle que la recherche n'a jamais étayé.

Ce que l'article permet et ne permet pas de conclure

Les travaux de Princeton sont réellement utiles, et je ne suis pas ici pour les dénigrer ; il s'agit d'une étude sérieuse et d'un bon point de départ. Mais trois réserves ont tendance à être omises chaque fois qu'on les cite, et chacune d'entre elles modifie le poids qu'il convient d'accorder au conseil “ d'ajouter des statistiques ”.

• Il a évalué la “ visibilité ” dans le cadre d'une analyse comparative, et non le nombre de citations dans ChatGPT ou AI Overviews. GEO-bench est un ensemble de tests contrôlés effectués sur des moteurs spécifiques à un moment donné. Les surfaces génératives ont beaucoup évolué depuis lors, de sorte que ces mêmes effets relatifs ne se transposent peut-être pas parfaitement aux systèmes de production actuels.
• Le résultat le plus marquant a été la citation de sources sur des pages peu bien classées, et non l'ajout de statistiques. La mention des sources a permis à certaines pages classées en 5e position de gagner +1151 TP3T, alors que les statistiques n'ont jamais été la méthode la plus efficace selon ces deux indicateurs. Le conseil populaire consistant à “ ajouter des statistiques ” s'est focalisé sur une formule accrocheuse et a négligé le levier qui faisait réellement bouger les choses.
• Les effets ont été inégaux selon les postes et ont même pu être négatifs. Chacune de ces méthodes phares a en réalité réduit la visibilité des pages déjà classées en première position (Cite Sources : environ -30%), et n'a porté ses fruits qu'à partir d'un certain rang. Une amélioration dépend de votre position de départ ; ce n'est pas un chiffre garanti.

Le facteur de confusion dont personne ne parle

Voici le raisonnement qu'applique un analyste chevronné et que les listes de contrôle rapides ont tendance à négliger. Les pages regorgeant de statistiques, de citations et de références ne constituent pas un échantillon aléatoire du Web ; elles sont généralement le fruit du travail d'éditeurs compétents, ces mêmes personnes qui ont déjà acquis une certaine autorité, obtenu des liens et rédigé le type de contenu que les moteurs de recherche souhaitent de toute façon mettre en avant.

Ainsi, lorsque vous constatez que “ les pages référencées affichent de meilleures statistiques ”, vous constatez en partie que les bons sites se comportent tout simplement comme de bons sites. Corrélation et causalité s'entremêlent, et un seul indicateur ne permet pas de les distinguer complètement. Cela ne signifie pas que les statistiques ne servent à rien ; cela signifie simplement qu'il faut faire preuve de prudence quant à la part de l'amélioration que l'on attribue aux statistiques elles-mêmes.

C'est le même piège qui a fait naître l'engouement pour le balisage schématique, où une corrélation selon laquelle “ les articles seraient trois fois plus susceptibles d'être cités ” a été présentée comme un lien de causalité, un sujet que j'ai approfondi dans mon analyse de l'étude du schéma de 1 885 pages. Ce schéma ne cesse de se répéter, car il est facile de faire passer une corrélation pour une causalité : cela permet de transformer une réalité complexe en une liste de contrôle bien ordonnée.

Pourquoi vérifier les citations des modèles de langage de grande envergure (LLM) est plus difficile qu'il n'y paraît

Même si vous souhaitez vérifier ces affirmations par vous-même, le terrain sous vos pieds ne cesse de bouger ; il est donc utile de connaître les trois éléments qui, sans que l’on s’en rende compte, font échouer la plupart des tests informels.

• Non-déterminisme. Si vous posez deux fois la même question à un même modèle, vous pouvez obtenir des résultats différents. Une simple capture d'écran « avant-après » ne prouve pratiquement rien en soi.
• Évolution des modèles et des versions. Les fournisseurs mettent à jour leurs modèles en toute discrétion ; ainsi, une hausse que vous “ constatez ” cette semaine pourrait être due à un changement de modèle plutôt qu'à votre contenu.
• Sensibilité à la saisie. En reformulant la requête, on modifie l'ordre des résultats, ce qui signifie que le résultat obtenu dépend en partie de la façon dont vous avez formulé votre requête.

Pour toutes ces raisons, toute statistique GEO citée sans indication de la taille de l'échantillon ni de la date relève davantage de la décoration que de la preuve. La version honnête de chacune de ces affirmations se termine en réalité par “ dans cette étude, sur ces moteurs, à cette époque ”.”

Comment réaliser un autotest fiable

Si vous voulez obtenir des résultats fiables pour votre propre secteur d'activité, voici la méthode que j'adopterais. Cela demande plus de travail qu'une simple capture d'écran, mais c'est ce qui fait la différence entre une simple opinion et une mesure concrète.

1. Choisissez un ensemble de pages comparables, sélectionnées en fonction de leur thème, de leur autorité et de leur taux de citation actuel, puis répartissez-les en un groupe test et un groupe témoin.
2. Dans le groupe test, appliquez une modification à la fois : ajoutez des statistiques provenant de sources fiables, ou ajoutez des références, mais pas les deux, afin de ne modifier qu'une seule variable par expérience.
3. Effectuez des requêtes à plusieurs reprises, par exemple 10 fois par requête sur les moteurs qui vous intéressent, et notez le taux obtenu plutôt qu'un seul résultat, afin de pallier le caractère aléatoire.
4. Effectuez une nouvelle mesure après 8 à 12 semaines et comparez l'évolution du groupe test à celle du groupe témoin, de sorte que toute dérive du modèle affecte les deux groupes de manière égale.
5. Ce n'est qu'alors que vous pourrez déterminer si ce levier a réellement fait bouger votre créneau, sur vos moteurs, aujourd'hui.

Les statistiques permettent-elles donc d'améliorer les citations en matière d'IA ?

À mon avis, les statistiques, les citations et les références semblent effectivement utiles, et ce pour une raison tout à fait logique : elles rendent le contenu plus précis, plus vérifiable et plus facile à citer, ce qui correspond exactement à ce que les moteurs de recherche ont tendance à privilégier. Il vaut donc la peine de les inclure lorsqu’elles s’intègrent naturellement au texte.

Ce que je ne ferais pas, c’est de considérer l’affirmation “ ajouter 15 statistiques pour 50% citations supplémentaires ” comme une règle. Ce chiffre est imposé à la recherche plutôt que d’en découler, et les données de l’article lui-même indiquent autre chose : les citations ont dominé les indicateurs clés, la plus forte augmentation provenait des sources citées sur des pages initialement mal classées, et les statistiques n’ont jamais été la méthode la plus efficace. Rédigez un contenu bien documenté, précis et original parce que c'est un meilleur contenu, et non parce qu'un indicateur mal interprété vous a promis un pourcentage.

Et quand quelqu'un vous cite une statistique GEO, demandez-lui quelle est l'étude sur laquelle elle repose, la taille de l'échantillon et la date. Les affirmations valables résistent à ce genre de questions ; ce n'est pas le cas de la plupart des idées reçues. Si vous voulez voir comment ce même discours “ fondé sur les données ” vient étayer d'autres mythes du référencement, mon Démontage du discours mensonger sur le brevet lié à la chute des classements est un ouvrage complémentaire utile.