Verbessern Statistiken die Zitierhäufigkeit von KI-Arbeiten? Eine kritische Überprüfung des GEO-Stat-Kanon

Viele Ratschläge zum Thema GEO basieren auf einem einfachen Versprechen: Füge Statistiken hinzu, erhalte mehr AI-Zitate. Dies wird wie eine unumstößliche Tatsache wiederholt, doch fast alles lässt sich auf eine einzige Veröffentlichung aus dem Jahr 2023 zurückführen, die nur sehr wenige derjenigen, die sie zitieren, tatsächlich gelesen haben.

Also habe ich es gelesen und die Zahlen mit der Quelle abgeglichen. Hier erfährst du, was die Studie tatsächlich gemessen hat, wo die gängige Interpretation danebenliegt und wie du diese These anhand deiner eigenen Inhalte überprüfen kannst, bevor du ihr Glauben schenkst.

Woher der GEO-Stat-Kanon eigentlich stammt

Sie haben diese Regel wahrscheinlich schon wie ein Gesetz formuliert gesehen: “Fügen Sie 15 Statistiken pro Artikel hinzu und erhalten Sie 50% mehr KI-Zitate.” Oder dass “44% der Zitate aus den ersten 30% der Seite stammen” oder dass “Statistiken die Sichtbarkeit in der KI um 30 bis 40% steigern”. Fast alle diese Zahlen stammen aus einer Quelle: dem Artikel GEO: Generative Suchmaschinenoptimierung von Aggarwal und Kollegen (KDD ’24), mit Autoren von der Princeton University, dem Allen Institute for AI, der Georgia Tech und dem IIT Delhi.

Sie entwickelten einen Benchmark namens GEO-bench, der rund 10.000 Suchanfragen aus neun Quellen umfasste, und testeten verschiedene inhaltliche Änderungen im Vergleich zu generativen Suchmaschinen anhand von zwei Sichtbarkeitskennzahlen: einer positionsbereinigten Wortzahl und einer eher subjektiven “Impression”-Kennzahl. Die drei Inhaltsänderungen, die am besten abschnitten, sahen wie folgt aus (relativer Anstieg gegenüber einer Basislinie ohne Optimierung):

Methode (im Vergleich zu keiner Optimierung)	Metrik zur Anzeige der Wortanzahl	Metrik für subjektive Eindrücke
Ergänzung zum Angebot	~+41%	~+28%
Statistik – Addition	~+31%	~+23%
Quellen angeben	~+28% (bis zu +115% für Seiten des Rangs 5)	~+13%

Zwei Dinge fallen sofort ins Auge, sobald man die Tabelle statt des Slogans liest. Erstens hat die Studie zwei Kennzahlen gemessen, nicht nur eine, und die Zahlen unterscheiden sich voneinander, sodass ein einzelnes “+41%” ohne Kontext bereits nur die Hälfte eines Zitats darstellt. Zweitens waren Statistiken nie die wichtigste Methode: Die Überschrift „+41%“ bezieht sich auf das Hinzufügen von Zitaten, und der größte Einzelanstieg, „+115%“, resultierte aus dem Hinzufügen von Zitaten zu Seiten, die in den Suchrankings weit unten standen (Rang 5).

“Statistiken steigern die Sichtbarkeit um 30 bis 40%” liegt also zumindest in der richtigen Größenordnung für die Wortzahl-Metrik, bei der Statistiken bei etwa +31% lagen. Aber “Füge 15 Statistiken pro Artikel hinzu und erhalte 50% mehr Zitate” taucht nirgendwo in der Arbeit auf; die Studie hat nie eine bestimmte Anzahl von Statistiken vorgeschrieben und nie eine eindeutige Zahl von 50% dafür ermittelt.

Irgendwo zwischen dem ursprünglichen PDF und der Karussell-Folie wurde aus einer Leistungssteigerung bei zwei Kennzahlen ein präzises Rezept mit einer konkreten Zahl, und die Verdienste wurden der Statistik zugeschrieben, obwohl die Daten auf etwas anderes hindeuten. Genau das ist der Punkt, den ich anzweifeln würde, denn diese Zahl erfüllt eine Funktion, die durch die Forschung nie belegt wurde.

Was man aus dem Artikel schließen kann und was nicht

Die Princeton-Studie ist wirklich nützlich, und ich möchte sie hier keineswegs schlechtmachen; es handelt sich um eine seriöse Untersuchung und einen guten Ausgangspunkt. Doch drei Vorbehalte werden oft übersehen, wenn sie zitiert wird, und jeder einzelne davon beeinflusst, wie viel Gewicht man dem Ratschlag “Statistiken hinzufügen” beimessen sollte.

• Es wurde die “Sichtbarkeit” in einem Benchmark gemessen, nicht die Zitate in Live-ChatGPT oder KI-Übersichten. GEO-bench ist eine kontrollierte Modellierung bestimmter Motoren zu einem bestimmten Zeitpunkt. Generative Oberflächen haben sich seitdem stark verändert, sodass sich dieselben relativen Effekte möglicherweise nicht nahtlos auf heutige Produktionssysteme übertragen lassen.
• Das herausragende Ergebnis war die Angabe von Quellen auf Seiten mit niedrigem Ranking, nicht das Hinzufügen von Statistiken. “Cite Sources” hob Seiten auf Platz 5 um +1151 TP3T an, während Statistiken bei keiner der beiden Kennzahlen jemals die beste Methode waren. Der beliebte Ratschlag „Statistiken hinzufügen“ konzentrierte sich auf den eingängigen Slogan und übersah dabei den Hebel, der tatsächlich etwas bewirkte.
• Die Auswirkungen waren je nach Position unterschiedlich und konnten sogar negativ ausfallen. Jede dieser Top-Methoden hat die Sichtbarkeit von Seiten, die bereits auf Platz eins rangierten, tatsächlich verringert (Cite Sources um etwa -30%), und zahlte sich erst weiter unten aus. Ein Anstieg hängt davon ab, wo man startet, und ist keine garantierte Zahl.

Der Störfaktor, den niemand erwähnt

Hier ist die Argumentation, die ein erfahrener Analyst anwendet, die bei einer kurzen Checkliste jedoch oft übersehen wird. Seiten, die voller Statistiken, Zitate und Quellenangaben sind, stellen keine zufällige Stichprobe des Internets dar; sie sind in der Regel das Werk kompetenter Herausgeber – genau jener Personen, die ohnehin bereits Autorität aufbauen, Backlinks erhalten und genau die Art von Inhalten verfassen, die Suchmaschinen ohnehin an oberster Stelle anzeigen möchten.

Wenn man also feststellt, dass “häufig zitierte Seiten bessere Statistiken aufweisen”, stellt man damit zum Teil lediglich fest, dass gute Websites sich einfach so verhalten, wie es gute Websites tun. Korrelation und Kausalität vermischen sich, und ein einzelner Maßstab kann sie nicht vollständig voneinander trennen. Das bedeutet nicht, dass Statistiken nutzlos sind; es bedeutet vielmehr, dass wir vorsichtig sein sollten, wenn es darum geht, welchen Anteil des Erfolgs wir den Statistiken selbst zuschreiben.

Das ist dieselbe Falle, in die der Hype um Schema-Markup geraten ist, als eine Korrelation – nämlich eine “dreimal höhere Wahrscheinlichkeit, zitiert zu werden” – als Kausalität verkauft wurde, was ich in Meine Zusammenfassung der 1.885 Seiten umfassenden Schema-Studie. Dieses Muster wiederholt sich immer wieder, weil sich Korrelation, die als Kausalität getarnt ist, leicht verkaufen lässt: Sie verwandelt eine chaotische Realität in eine übersichtliche Checkliste.

Warum es schwieriger ist, Zitate aus großen Sprachmodellen zu überprüfen, als es den Anschein hat

Selbst wenn Sie diese Behauptungen selbst überprüfen wollen, ist der Boden unter Ihren Füßen ständig in Bewegung; daher ist es hilfreich, die drei Dinge zu kennen, die die meisten einfachen Tests unbemerkt zunichte machen.

• Nichtdeterminismus. Stellt man demselben Modell zweimal dieselbe Frage, erhält man unter Umständen unterschiedliche Ergebnisse. Ein einzelner Vorher-Nachher-Screenshot allein beweist so gut wie nichts.
• Modell- und Versionsabweichungen. Anbieter aktualisieren ihre Modelle stillschweigend, sodass ein Anstieg, den Sie diese Woche “messen”, möglicherweise eher auf eine Änderung des Modells als auf Ihre Inhalte zurückzuführen ist.
• Empfindlichkeit der Eingabeaufforderung. Wenn man die Suchanfrage umformuliert, werden die Treffer neu sortiert, was bedeutet, dass das Ergebnis zum Teil davon abhängt, wie man die Frage gerade gestellt hat.

Aus all diesen Gründen ist jede GEO-Statistik, die ohne Angabe des Stichprobenumfangs und des Datums zitiert wird, eher reine Augenwischerei als ein Beleg. Die ehrliche Version jeder einzelnen dieser Behauptungen endet eigentlich mit den Worten: “In dieser Studie, bei diesen Motoren, zu jenem Zeitpunkt.”

So führen Sie einen aussagekräftigen Selbsttest durch

Wenn Sie in Ihrer Nische ein Ergebnis erzielen möchten, auf das Sie sich wirklich verlassen können, würde ich folgendermaßen vorgehen. Das ist zwar aufwändiger als ein Screenshot, aber es macht den Unterschied zwischen einer Vermutung und einer Messung aus.

1. Wählen Sie eine Reihe vergleichbarer Seiten aus, die hinsichtlich Thema, Autorität und aktueller Zitierhäufigkeit übereinstimmen, und teilen Sie diese dann in eine Testgruppe und eine Kontrollgruppe auf.
2. Wenden Sie in der Testgruppe jeweils nur eine Änderung an: Fügen Sie entweder fundierte Statistiken oder Quellenangaben hinzu, aber nicht beides, damit Sie pro Versuch nur eine Variable verändern.
3. Führen Sie wiederholt Testabfragen durch, beispielsweise 10 Durchläufe pro Abfrage über die für Sie relevanten Suchmaschinen, und erfassen Sie die Durchlaufrate anstelle eines einzelnen Ergebnisses, um den Nichtdeterminismus zu umgehen.
4. Führen Sie nach 8 bis 12 Wochen eine erneute Messung durch und vergleichen Sie die Veränderung in der Testgruppe mit der in der Kontrollgruppe, damit etwaige Modellabweichungen beide Gruppen gleichermaßen betreffen.
5. Erst dann kannst du entscheiden, ob der Hebel heute tatsächlich etwas bewirkt hat – bei deinen Motoren.

Verbessern Statistiken also die Zitierhäufigkeit von KI-Arbeiten?

Meiner Meinung nach scheinen Statistiken, Zitate und Quellenangaben tatsächlich hilfreich zu sein, und zwar aus einem guten Grund: Sie machen den Inhalt konkreter, besser überprüfbar und zitierfähiger – genau das, was Suchmaschinen in der Regel positiv bewerten. Es lohnt sich also, sie einzufügen, wenn sie wirklich in den Text passen.

Was ich jedoch nicht tun würde, ist, “15 Statistiken hinzufügen, um 50% mehr Zitate zu erhalten” als Regel zu betrachten. Diese Zahl ist der Studie eher aufgesetzt als dass sie sich darin findet, und die Daten der Studie selbst weisen in eine andere Richtung: Zitate führten die wichtigsten Kennzahlen an, der größte Einzelanstieg kam von zitierten Quellen auf Seiten, die im Ranking zunächst weit unten standen, und Statistik war nie die führende Methode. Schreiben Sie gut recherchierte, konkrete und originelle Inhalte, weil es bessere Inhalte sind – nicht, weil Ihnen ein falsch zitierter Richtwert einen Prozentsatz versprochen hat.

Und wenn Ihnen jemand eine GEO-Statistik vorlegt, fragen Sie nach der Studie, der Stichprobengröße und dem Datum. Die stichhaltigen Behauptungen halten dieser Prüfung stand; der Großteil der gängigen Meinungen hingegen nicht. Wenn Sie sehen möchten, wie dieselbe “datengestützte” Argumentation andere SEO-Mythen stützt, dann lesen Sie meinen Eine Entlarvung der falschen Darstellung zum Patent über den Ranking-Einbruch ist eine nützliche Begleitlektüre.