{"id":8102,"date":"2026-07-23T04:30:00","date_gmt":"2026-07-23T09:30:00","guid":{"rendered":"https:\/\/www.wpconsults.com\/?p=8102"},"modified":"2026-07-23T19:18:04","modified_gmt":"2026-07-24T00:18:04","slug":"crawl-budget-fur-e-commerce-websites","status":"publish","type":"post","link":"https:\/\/www.wpconsults.com\/de\/crawl-budget-for-ecommerce-sites\/","title":{"rendered":"Crawl-Budget f\u00fcr E-Commerce-Websites: Was sich durch Googles \u00fcberarbeitetes Dokument f\u00fcr Ihren Shop \u00e4ndert"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Google hat seine <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawl-budget\" rel=\"nofollow noopener\" target=\"_blank\">Leitfaden zum Crawl-Budget<\/a> am 22. Juli 2026, und fast jede Seite, auf der derzeit das Crawl-Budget f\u00fcr E-Commerce-Websites erl\u00e4utert wird, stammt aus der Zeit davor. Die f\u00fcr einen Shop wichtigste Information ist neu: Ihre Crawl-Kapazit\u00e4t ist ein einziger Pool, der von allen Crawlern von Google gemeinsam genutzt wird, sodass das Crawlen Ihrer Feeds, Bilder und Anzeigen mit der Produktsuche konkurriert.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Hier ist meine ehrliche Einsch\u00e4tzung, nachdem ich das neue Dokument vollst\u00e4ndig gelesen und auf unserer eigenen Website getestet habe. Die meisten Online-Shops haben \u00fcberhaupt kein Problem mit dem Crawl-Budget, und diejenigen, bei denen dies der Fall ist, haben in der Regel ein Problem mit doppelten URLs, das sich als Crawl-Budget-Problem tarnt.<\/p>\n\n\n\n<div class=\"wp-block-group wpc-takeaways is-layout-flow wp-block-group-is-layout-flow\">\n<h2 class=\"wp-block-heading toc-ignore\">Wichtigste Erkenntnisse<\/h2>\n<ul class=\"wp-block-list\">\n<li>Google hat sein Dokument zum Crawl-Budget am 22. Juli 2026 \u00fcberarbeitet und gibt nun an, dass alle Crawler gemeinsam eine einzige Crawl-Kapazit\u00e4tsgrenze nutzen.<\/li>\n<li>Google Shopping crawlt intensiver, wenn Sie H\u00e4ndler-Feeds haben, und AdsBot crawlt intensiver bei dynamischen Anzeigen, sodass beide aus demselben Pool f\u00fcr die Produktsuche sch\u00f6pfen.<\/li>\n<li>Die meisten Websites haben kein Problem mit dem Crawl-Budget; laut Google k\u00f6nnen Sie dieses Thema getrost au\u00dfer Acht lassen, wenn Ihre Seiten noch am Tag ihrer Ver\u00f6ffentlichung gecrawlt werden.<\/li>\n<li>Wenn ein Shop ein solches Problem aufweist, liegt die Ursache in der Regel in der Erzeugung doppelter URLs (Tags, Filter, Sortierparameter, Paginierung) und nicht in einer niedrigen Obergrenze.<\/li>\n<li>Die Unterst\u00fctzung von HTTP 304 spart Crawling-Aufwand, aber ob Sie \u201c304 unterst\u00fctzen\u201d, h\u00e4ngt davon ab, welchen Validator Ihr Server sendet; unser Origin ber\u00fccksichtigt dies anhand des ETag und nicht anhand von \u201eIf-Modified-Since\u201c.<\/li>\n<li>Sie k\u00f6nnen kein h\u00f6heres Crawl-Budget beantragen; Google erh\u00f6ht das Limit nur, wenn Ihr Server kontinuierlich schnell und einwandfrei reagiert.<\/li>\n<\/ul>\n<\/div>\n\n\n<style>.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap{padding-top:var(--global-kb-spacing-sm, 1.5rem);padding-right:var(--global-kb-spacing-sm, 1.5rem);padding-bottom:var(--global-kb-spacing-sm, 1.5rem);padding-left:var(--global-kb-spacing-sm, 1.5rem);border-top:1px solid var(--global-palette10, #3182CE);border-right:1px solid var(--global-palette10, #3182CE);border-bottom:1px solid var(--global-palette10, #3182CE);border-left:1px solid var(--global-palette10, #3182CE);border-top-left-radius:5px;border-top-right-radius:5px;border-bottom-right-radius:5px;border-bottom-left-radius:5px;box-shadow:15px 15px 0px 0px rgba(160, 152, 255, 0.31);}.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-contents-title-wrap{padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;}.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-contents-title{font-weight:600;font-style:normal;}.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap .kb-table-of-content-list{color:var(--global-palette4, #2D3748);font-weight:regular;font-style:normal;margin-top:var(--global-kb-spacing-sm, 1.5rem);margin-right:0px;margin-bottom:0px;margin-left:0px;}.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap .kb-table-of-content-list .kb-table-of-contents__entry:hover{color:var(--global-palette1, #3182CE);}.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap .kb-table-of-content-list .active > .kb-table-of-contents__entry{color:var(--global-palette1, #3182CE);}@media all and (max-width: 1024px){.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap{border-top:1px solid var(--global-palette10, #3182CE);border-right:1px solid var(--global-palette10, #3182CE);border-bottom:1px solid var(--global-palette10, #3182CE);border-left:1px solid var(--global-palette10, #3182CE);}}@media all and (max-width: 767px){.kb-table-of-content-nav.kb-table-of-content-id3268_6ddb5a-74 .kb-table-of-content-wrap{border-top:1px solid var(--global-palette10, #3182CE);border-right:1px solid var(--global-palette10, #3182CE);border-bottom:1px solid var(--global-palette10, #3182CE);border-left:1px solid var(--global-palette10, #3182CE);}}<\/style>\n\n<h2 class=\"wp-block-heading\">Was das Crawl-Budget f\u00fcr einen Online-Shop eigentlich ist<\/h2>\n\n<p class=\"wp-block-paragraph\">Das Crawl-Budget bezeichnet die Gesamtheit der URLs, die Google auf Ihrer Website crawlen kann und will. Es wird durch zwei Faktoren bestimmt: Ihre <strong>Grenzwert f\u00fcr die Crawl-Kapazit\u00e4t<\/strong> (wie viel Crawling Ihr Server verkraften kann) und Googles <strong>Crawl-Nachfrage<\/strong> (inwieweit Google Ihre Seiten tats\u00e4chlich crawlen m\u00f6chte).<\/p>\n\n\n<p class=\"wp-block-paragraph\">Stellen Sie sich die Kapazit\u00e4tsgrenze wie die T\u00fcr eines gut besuchten Ladens vor. Sie gibt an, wie viele Personen Google gleichzeitig hereinl\u00e4sst und wie lange es zwischen den Besuchen wartet \u2013 so eingestellt, dass Ihr Server nicht \u00fcberlastet wird. Diese Zahl steigt nur, wenn Ihr Server weiterhin schnell antwortet, und sinkt, wenn Ihr Server ins Stocken ger\u00e4t.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Die Crawl-Nachfrage ist die andere H\u00e4lfte: Wie sehr Google an Ihren Seiten interessiert ist, h\u00e4ngt davon ab, wie beliebt sie sind und wie oft sie aktualisiert werden. Ein Shop, der t\u00e4glich Produkte hinzuf\u00fcgt und bearbeitet, erzeugt echte Nachfrage; eine statische Brosch\u00fcren-Website hingegen nur sehr wenig. Wenn Sie sich f\u00fcr die messbare Seite dieses Themas interessieren, finden Sie in unserem \u00e4lteren Leitfaden zu <a href=\"https:\/\/www.wpconsults.com\/de\/auffinden-des-kriechbudgets-und-seiner-anwendungsfalle\/\">Auffinden des Kriechbudgets und seiner Anwendungsf\u00e4lle<\/a> f\u00fchrt Schritt f\u00fcr Schritt durch das Auslesen der Zahlen in der Search Console.<\/p>\n\n\n<h2 class=\"wp-block-heading\">Hat Ihr Shop \u00fcberhaupt ein Problem mit dem Crawl-Budget?<\/h2>\n\n<p class=\"wp-block-paragraph\">Die meisten Shops tun dies nicht, und Google weist darauf auf derselben Seite hin, die jeder nutzt, um die Optimierung des Crawl-Budgets zu vermarkten. In der \u00fcberarbeiteten Dokumentation hei\u00dft es ganz klar: \u201cWenn Ihre Seiten offenbar noch am Tag ihrer Ver\u00f6ffentlichung gecrawlt werden, brauchen Sie diesen Leitfaden nicht zu lesen.\u201d<\/p>\n\n\n<p class=\"wp-block-paragraph\">Google stellt den gesamten Leitfaden als fortgeschrittenes Material f\u00fcr drei Arten von Websites dar: gro\u00dfe Websites mit einer Million oder mehr URLs, die sich w\u00f6chentlich \u00e4ndern, mittlere oder gr\u00f6\u00dfere Websites mit 10.000 oder mehr URLs, die sich t\u00e4glich \u00e4ndern, sowie Websites, bei denen ein gro\u00dfer Teil der URLs in der Search Console als <a href=\"https:\/\/www.wpconsults.com\/de\/gecrawlt-derzeit-nicht-indexiert\/\">Entdeckt, derzeit nicht indexiert<\/a>. Au\u00dferdem wird darauf hingewiesen, dass es sich bei diesen Zahlen um \u201ceine grobe Sch\u00e4tzung\u201d und \u201ckeine genauen Grenzwerte\u201d handelt; betrachten Sie sie daher eher als Anhaltspunkt und nicht als feste Regel.<\/p>\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Sie k\u00f6nnen das Crawl-Budget ignorieren, wenn<\/th><th>Sie sollten darauf achten, wenn<\/th><\/tr><\/thead><tbody>\n<tr><td>Neue Produkte werden noch am selben Tag, an dem Sie sie ver\u00f6ffentlichen, von Suchmaschinen erfasst.<\/td><td>Sie verwalten einen umfangreichen Katalog (etwa 1 Million oder mehr URLs), der sich w\u00f6chentlich \u00e4ndert<\/td><\/tr>\n<tr><td>Ihr Shop ist klein bis mittelgro\u00df (weniger als etwa 10.000 URLs)<\/td><td>Sie haben 10.000 oder mehr URLs, und die Inhalte \u00e4ndern sich t\u00e4glich<\/td><\/tr>\n<tr><td>Nur wenige URLs befinden sich im Status \u201cEntdeckt, derzeit nicht indexiert\u201d<\/td><td>Ein gro\u00dfer Teil Ihrer URLs befindet sich im Status \u201cEntdeckt, derzeit nicht indexiert\u201d<\/td><\/tr>\n<\/tbody><\/table><figcaption class=\"wp-element-caption\">Googles eigene Gr\u00f6\u00dfenklassen f\u00fcr die \u201eCrawl-Budget\u201c-Richtlinie, angepasst f\u00fcr einen Online-Shop; die Zahlen sind grobe Sch\u00e4tzungen und keine exakten Grenzwerte.<\/figcaption><\/figure>\n\n\n<h2 class=\"wp-block-heading\">Was sich durch Googles \u00fcberarbeitetes Dokument zum Crawl-Budget im Juli 2026 ge\u00e4ndert hat<\/h2>\n\n<p class=\"wp-block-paragraph\">Der Gro\u00dfteil der \u00dcberarbeitung vom 22. Juli betraf rein redaktionelle \u00c4nderungen. Google beschrieb dies als Verbesserung der \u201cKlarheit, terminologischen Konsistenz und des Leseflusses\u201d sowie als Ma\u00dfnahme, um sicherzustellen, dass ein Begriff wie <em>Grenzwert f\u00fcr die Crawl-Kapazit\u00e4t<\/em> wird durchgehend auf dieselbe Weise verwendet, was <a href=\"https:\/\/www.seroundtable.com\/google-updates-optimize-your-crawl-budget-41732.html\" rel=\"nofollow noopener\" target=\"_blank\">Suchmaschinen-Rundtischgespr\u00e4ch<\/a> wurde am Morgen seiner Landung markiert.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Einige Zeilen sind jedoch tats\u00e4chlich neu, und eine davon ist der Grund, warum dieser Beitrag \u00fcberhaupt entstanden ist. Das Dokument wurde zudem stillschweigend verschoben: Fr\u00fcher war es unter der Dokumentation zu \u201eSearch\u201c zu finden, jetzt befindet es sich in einem umfassenderen Abschnitt zum Thema Crawling, was gut zu der darin enthaltenen Aussage passt, dass das Budget von den Crawlern f\u00fcr \u201eSearch\u201c, \u201eShopping\u201c und \u201eAds\u201c gemeinsam genutzt wird.<\/p>\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Neue oder gesch\u00e4rfte Linie<\/th><th>Warum das f\u00fcr ein Gesch\u00e4ft wichtig ist<\/th><\/tr><\/thead><tbody>\n<tr><td>Eine Crawling-Kapazit\u00e4tsgrenze gilt f\u00fcr alle Crawler gemeinsam<\/td><td>Das Crawling Ihrer Feeds, Bilder und Anzeigen steht im Wettbewerb mit der Produktsuche<\/td><\/tr>\n<tr><td>Google Shopping indexiert H\u00e4ndler-Feeds intensiver; AdsBot indexiert dynamische Anzeigen intensiver<\/td><td>Gibt die genauen Store-Crawler an, die auf den gemeinsamen Pool zugreifen<\/td><\/tr>\n<tr><td>Jede Website beginnt mit derselben standardm\u00e4\u00dfigen, konservativen Kapazit\u00e4tsgrenze<\/td><td>Google erh\u00f6ht die Kapazit\u00e4t nur, wenn Ihr Server nachweist, dass er mehr bew\u00e4ltigen kann.<\/td><\/tr>\n<tr><td>Unterst\u00fctzung von HTTP 304 (Not Modified), um das erneute Herunterladen unver\u00e4nderter Seiten zu vermeiden<\/td><td>Das l\u00e4sst sich auf Ihrer eigenen Origin-Domain testen, und die meisten Shops geben niemals einen 304-Status zur\u00fcck.<\/td><\/tr>\n<\/tbody><\/table><figcaption class=\"wp-element-caption\">Die Zeilen, die bei der \u00dcberarbeitung vom 22. Juli 2026 hinzugef\u00fcgt oder pr\u00e4zisiert wurden, wurden anhand des Live-Dokuments von Google \u00fcberpr\u00fcft, das nun das Aktualisierungsdatum 22. Juli tr\u00e4gt.<\/figcaption><\/figure>\n\n\n<h2 class=\"wp-block-heading\">Warum f\u00fcr alle Crawler von Google ein gemeinsames Crawling-Kapazit\u00e4tslimit gilt<\/h2>\n\n<p class=\"wp-block-paragraph\">In Googles \u00fcberarbeiteter Dokumentation hei\u00dft es nun ganz direkt: \u201cDie Crawling-Kapazit\u00e4tsgrenze gilt f\u00fcr alle Crawler gemeinsam\u201d, und \u201ceine hohe Auslastung durch einen Crawler kann die f\u00fcr andere verf\u00fcgbare Kapazit\u00e4t verringern.\u201d Das ist nur ein Satz, der jedoch Ihre Herangehensweise beim Crawling eines Online-Shops grundlegend ver\u00e4ndert.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Das Dokument nennt anschlie\u00dfend die Crawler, die f\u00fcr einen Online-Shop von Bedeutung sind. Dort hei\u00dft es, dass AdsBot \u201cin der Regel eine h\u00f6here Auslastung aufweist, wenn eine Website dynamische Anzeigenziele verwendet, und dass Google Shopping eine h\u00f6here Auslastung bei Produkten aufweist, die Sie in Ihren H\u00e4ndler-Feeds haben.\u201d Liest man diese beiden Zeilen zusammen, ergibt sich ein klares Bild: Googlebot f\u00fcr die Seitenerkennung, Googlebot-Image f\u00fcr Ihre Produktfotos, Google Shopping f\u00fcr Ihren Feed und AdsBot f\u00fcr Ihre Anzeigen-Landingpages \u2013 sie alle greifen auf dasselbe Host-Budget zur\u00fcck.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Hier beschreibt Google seine eigenen Systeme \u2013 das ist zwar die aussagekr\u00e4ftigste Form einer Herstellerangabe, aber dennoch nur eine Herstellerangabe. Daher betrachte ich dies eher als eine Darstellung der Funktionsweise des Crawlings und nicht als feststehende Tatsache. Was wir aus erster Hand belegen k\u00f6nnen, ist die Aufteilung auf unserer eigenen Website. Selbst wenn kein Merchant-Center-Feed l\u00e4uft, schl\u00fcsselt unsere Search-Console-Crawling-Statistik das Crawling nach Crawler-Typ auf, und allein auf AdsBot entfallen <strong>9%<\/strong> davon, wobei das Abrufen von Bildern und Seitenressourcen einen gro\u00dfen Teil davon ausmacht.<\/p>\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1200\" height=\"816\" src=\"https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101.avif\" alt=\"Crawl-Statistiken der Search Console nach Googlebot-Typ, die die Aufteilung des gemeinsamen Crawl-Budgets auf Googlebot, AdsBot und Bild-Crawler zeigen\" class=\"wp-image-8101\" srcset=\"https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101.avif 1200w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101-300x204.avif 300w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101-1024x696.avif 1024w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101-768x522.avif 768w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-by-googlebot-type-8101-18x12.avif 18w\" sizes=\"auto, (max-width: 1200px) 100vw, 1200px\" \/><figcaption class=\"wp-element-caption\">Unsere eigenen Crawl-Statistiken, aufgeschl\u00fcsselt nach Googlebot-Typ: Laden von Seitenressourcen, Desktop- und Smartphone-Googlebot sowie AdsBot bei 9% und Image, die alle auf denselben Pool zur\u00fcckgreifen.<\/figcaption><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Bei einem Online-Shop liegt der Schwerpunkt dieser Mischung st\u00e4rker auf dem Crawling von Feeds und Bildern als bei einer Content-Website wie der unseren. Wenn Sie sehen m\u00f6chten, wie sich einer dieser shopspezifischen Crawler in der Praxis verh\u00e4lt, haben wir dies separat in unserem Beitrag zu <a href=\"https:\/\/www.wpconsults.com\/de\/google-storebot\/\">Google StoreBot<\/a>.<\/p>\n\n\n<h2 class=\"wp-block-heading\">Wie ein Shop die Auffindbarkeit seiner eigenen Produkte untergraben kann<\/h2>\n\n<p class=\"wp-block-paragraph\">Bei einem Shop mit einem umfangreichen Bildkatalog, einem aktiven H\u00e4ndler-Feed und \u201eShopping\u201c- oder \u201ePerformance Max\u201c-Anzeigen kann es vorkommen, dass die Produktseiten nur langsam indexiert werden \u2013 und zwar nicht aufgrund von Fehlern bei der On-Page-SEO. Der Grund daf\u00fcr ist, dass das Crawling des eigenen Feeds, der Bilder und der Anzeigen den gemeinsamen Pool aufbraucht, bevor Googlebot zu den neuen Produkten gelangt.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Unsere eigenen Daten lassen erahnen, warum das so \u00e4rgerlich ist. In den Crawl-Statistiken, <strong>90%<\/strong> Ein Teil des Crawlings durch Google auf unserer Website besteht darin, bereits bekannte Seiten neu zu laden, und zwar nur <strong>10%<\/strong> ist die Erkennung \u2013 der Teil, der brandneue URLs aufsp\u00fcrt. Bei einem Shop, der t\u00e4glich neue Produkte ver\u00f6ffentlicht, ist genau dieser kleine Teil der Erkennung das, womit Ihr Feed und Ihr Bild-Crawling konkurrieren.<\/p>\n\n\n<figure class=\"wpc-flow\">\n<p class=\"wpc-flow__title\">Wie ein Shop sein gemeinsames Crawl-Budget einsetzt<\/p>\n<ol class=\"wpc-flow__list\">\n<li class=\"is-blue\">Googlebot, Googlebot-Image, Google Shopping und AdsBot greifen alle auf einen gemeinsamen Kapazit\u00e4tspool zur\u00fcck<\/li>\n<li class=\"is-violet\">Das Crawling von gro\u00dfen Bild-, Feed- und Anzeigenmengen beansprucht einen gro\u00dfen Teil dieses Pools<\/li>\n<li class=\"is-amber\">Googlebot hat weniger Kapazit\u00e4t, um Seiten zu finden und zu aktualisieren<\/li>\n<li class=\"is-red\">Neue und aktualisierte Produktseiten werden langsamer gefunden und aktualisiert<\/li>\n<\/ol>\n<figcaption class=\"wpc-flow__cap\">Der \u201eShared-Pool\u201c-Fehlermodus, bei dem nirgendwo ein Fehler bei der On-Page-SEO vorliegt.<\/figcaption>\n<\/figure>\n\n\n<h2 class=\"wp-block-heading\">Spart die Unterst\u00fctzung von HTTP 304 tats\u00e4chlich Crawl-Budget?<\/h2>\n\n<p class=\"wp-block-paragraph\">Ja, wenn es tats\u00e4chlich funktioniert. In Googles Dokument wurde eine neue Zeile hinzugef\u00fcgt, in der Websites aufgefordert werden, \u201cHTTP-Statuscodes 304 (Not Modified) zu unterst\u00fctzen\u201d, da ein 304-Code Google anweist, die bereits vorhandene Kopie wiederzuverwenden, anstatt die Seite erneut herunterzuladen. Aber \u201c304 zu unterst\u00fctzen\u201d ist nicht einfach nur ein Schalter, den man umlegt; es h\u00e4ngt davon ab, welchen Validator Ihr Server sendet.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Ein 304-Status wird durch bedingte Anfragen ausgel\u00f6st. Google speichert den ETag einer Seite (einen Fingerabdruck des Inhalts) oder deren \u201cLast-Modified\u201d-Datum und fragt dann: \u201eHat sich dies seitdem ge\u00e4ndert?\u201c Wenn sich nichts ge\u00e4ndert hat, sollte der Server mit einem 304-Status antworten und keinen Body senden. Genau das haben wir auf unserem eigenen Origin-Server getestet, der \u00fcber einen LiteSpeed-Seiten-Cache bereitgestellt wird, und das Ergebnis fiel gemischter aus, als die einzeilige Anleitung vermuten l\u00e4sst.<\/p>\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Von uns gesendete bedingte Anfrage<\/th><th>Was unser Ursprung zur\u00fcckgegeben hat<\/th><\/tr><\/thead><tbody>\n<tr><td>\u201eIf-None-Match\u201c mit dem ETag des jeweiligen Blogbeitrags<\/td><td>HTTP 304 Nicht ge\u00e4ndert<\/td><\/tr>\n<tr><td>\u201eIf-None-Match\u201c mit dem ETag der Startseite<\/td><td>HTTP 304 Nicht ge\u00e4ndert<\/td><\/tr>\n<tr><td>\u201eIf-Modified-Since\u201c mit einem aktuellen Datum<\/td><td>HTTP 200, wieder die gesamte Seite<\/td><\/tr>\n<\/tbody><\/table><figcaption class=\"wp-element-caption\">Ein Test mit einer bedingten Anfrage aus erster Hand auf unserem eigenen Ursprungsserver: Er ber\u00fccksichtigt 304 anhand des ETag, nicht jedoch anhand von \u201eIf-Modified-Since\u201c, da er einen ETag-Header, aber keinen \u201eLast-Modified\u201c-Header sendet.<\/figcaption><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Wir \u201cunterst\u00fctzen also 304\u201d anhand des ETag und nicht anhand von If-Modified-Since, und zwar einzig und allein deshalb, weil unsere Seiten einen ETag-Header, aber keinen Last-Modified-Header enthalten. Da es f\u00fcr eine If-Modified-Since-Anfrage nichts gibt, womit sie den Vergleich anstellen k\u00f6nnte, gibt der Server die gesamte Seite zur\u00fcck. Unsere Crawl-Statistiken best\u00e4tigen dies: <strong>\u201eNicht modifiziert (304)\u201c f\u00e4llt unter 1%<\/strong> aller Crawl-Antworten auf unserer Website, was bedeutet, dass Google fast alles erneut herunterl\u00e4dt, auch wenn sich nichts ge\u00e4ndert hat.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Die wichtigste Erkenntnis f\u00fcr einen Online-Shop lautet: Testen Sie es lieber selbst, anstatt einfach von etwas auszugehen. Senden Sie die beiden bedingten Anfragen an eine Produktseite und pr\u00fcfen Sie, welche Ihre Plattform ber\u00fccksichtigt, denn ein bild- oder feedlastiger Shop, der niemals einen 304-Status zur\u00fcckgibt, verschwendet Kapazit\u00e4ten durch das erneute Abrufen von Bytes, die sich nicht ge\u00e4ndert haben. Dies ist dieselbe \u00dcberpr\u00fcfung auf Header-Ebene, die wir in unserem Leitfaden zu <a href=\"https:\/\/www.wpconsults.com\/de\/prufen-ob-das-cdn-daten-zwischenspeichert\/\">So \u00fcberpr\u00fcfen Sie, ob Ihr CDN Daten zwischenspeichert<\/a>.<\/p>\n\n\n<h2 class=\"wp-block-heading\">Das eigentliche Problem f\u00fcr die meisten Shops ist die Erstellung doppelter URLs<\/h2>\n\n<p class=\"wp-block-paragraph\">Bei den meisten Websites, die tats\u00e4chlich nur langsam indiziert werden, liegt das Problem nicht in einer niedrigen Deckenh\u00f6he, sondern in zu vielen URLs mit geringem Wert. In dem Dokument von Google wird dies als \u201cwahrgenommener Bestand\u201d bezeichnet und als \u201cder Faktor, den Sie am st\u00e4rksten positiv beeinflussen k\u00f6nnen\u201d beschrieben \u2013 was eine h\u00f6fliche Art ist, zu sagen, dass Sie in der Regel selbst f\u00fcr diesen Ballast verantwortlich sind.<\/p>\n\n\n<p class=\"wp-block-paragraph\">In einem Online-Shop tauchen diese URLs auf, ohne dass sie von jemandem erstellt wurden. Jedes Tag einer Kollektion erh\u00e4lt eine eigene URL, jeder Filter im Shop f\u00fcgt eine hinzu, jede Sortierreihenfolge eine weitere, und jede dieser Sortierungen wird paginiert. Google verbraucht dann seine Crawling-Ressourcen f\u00fcr nahezu identische Seiten, anstatt f\u00fcr Ihre tats\u00e4chlichen Produkte. Wir haben diesen Mechanismus f\u00fcr eine Plattform in unserem Artikel \u00fcber [\u2026] ausf\u00fchrlich analysiert. <a href=\"https:\/\/www.wpconsults.com\/de\/shopify-kollektionen-mit-doppelten-inhalten\/\">Shopify: Doppelte Inhalte aus Kollektionen<\/a>, und die Darstellung ist bei WooCommerce identisch.<\/p>\n\n\n<p class=\"wp-block-paragraph\">So betrachtet ist das Crawl-Budget das Symptom und die Erstellung doppelter URLs die Ursache. Behebt man die URL-Explosion, l\u00f6st sich das \u201cBudgetproblem\u201d in der Regel von selbst auf. Deshalb w\u00fcrde ich mich zuerst damit befassen, lange bevor ich mir Gedanken \u00fcber die Kapazit\u00e4tsgrenze mache.<\/p>\n\n\n<h2 class=\"wp-block-heading\">So verwalten Sie das Crawl-Budget in einem Online-Shop<\/h2>\n\n<p class=\"wp-block-paragraph\">Die M\u00f6glichkeiten, die Ihnen das Google-Dokument tats\u00e4chlich bietet, sind begrenzt: Entfernen Sie doppelte und unbrauchbare URLs, sorgen Sie daf\u00fcr, dass der Server schnell und einwandfrei l\u00e4uft, und lenken Sie das Crawling auf das Wesentliche. Es gibt keinen Knopf, um mehr Budget zu beantragen \u2013 ignorieren Sie also jeden, der so tut, als g\u00e4be es einen.<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Doppelte Inhalte zusammenf\u00fchren<\/strong> Google konzentriert sich also, wie das Unternehmen selbst sagt, beim Crawling \u201cauf einzigartige Inhalte statt auf einzigartige URLs\u201d. Canonical-Tags, eine \u00fcbersichtliche facettierte Navigation sowie der Verzicht auf die Indizierung von Filter- und Sortier-URLs leisten hier den gr\u00f6\u00dften Beitrag.<\/li>\n<li><strong>Geben Sie f\u00fcr Produkte, die Sie dauerhaft entfernt haben, einen 404- oder 410-Fehlercode zur\u00fcck.<\/strong>, denn Google bezeichnet einen 404-Fehler als \u201cein deutliches Signal, diese URL nicht erneut zu crawlen\u201d, sodass keine Abrufe mehr f\u00fcr nicht mehr verf\u00fcgbare Artikel verschwendet werden.<\/li>\n<li><strong>Vermeiden Sie lange Weiterleitungsketten<\/strong>, die laut Google \u201csich negativ auf das Crawling auswirken\u201d; ein migrierter Shop voller Weiterleitungen mit Umwegen belastet das Crawling bei jeder einzelnen. Unser Leitfaden zu <a href=\"https:\/\/www.wpconsults.com\/de\/weiterleitungsketten-seo\/\">Erkennen und Aufl\u00f6sen von Weiterleitungsketten<\/a> \u00fcbernimmt die Aufr\u00e4umarbeiten.<\/li>\n<li><strong>Sorgen Sie daf\u00fcr, dass der Server schnell und stabil l\u00e4uft<\/strong>, denn der Crawl-Status ist der einzige Faktor, der Ihr Limit erh\u00f6ht; konstante Antwortzeiten und die Zeit bis zum ersten Byte erh\u00f6hen es, w\u00e4hrend 5xx-Fehler und 429-Rate-Limit-Antworten es senken.<\/li>\n<li><strong>Verlassen Sie sich nicht auf die robots.txt, um \u201cBudget freizusetzen\u201d<\/strong>. Google betont ausdr\u00fccklich, dass es \u201cdieses neu verf\u00fcgbare Crawl-Budget nicht auf andere Seiten verlagern wird, es sei denn, Google st\u00f6\u00dft bereits an die Crawl-Kapazit\u00e4tsgrenze Ihrer Website\u201d, sodass das Blockieren von unerw\u00fcnschten URLs dazu beitr\u00e4gt, den Fokus zu sch\u00e4rfen, und nicht, Spielraum zu schaffen.<\/li>\n<li><strong>Verwenden Sie \u201enoindex\u201c nicht, um das Crawlen zu vermeiden<\/strong> Auch das nicht; Google ruft die Seite zwar weiterhin ab, bricht den Vorgang aber ab, sobald es das Tag erkennt \u2013 du hast den Abruf also bereits verbraucht.<\/li>\n<\/ul>\n\n\n<p class=\"wp-block-paragraph\">All dies k\u00f6nnen Sie dort einsehen, wo die tats\u00e4chlichen Zahlen zu finden sind: in den Crawling-Statistiken der Search Console und in Ihren Server-Logs. Auf unserer eigenen Website wird der Host-Status als \u201eintakt\u201c angezeigt, mit einem <strong>460 ms<\/strong> durchschnittliche Antwortzeit und keine Host-Probleme \u2013 das ist der Zustand, bei dem der Grenzwert eher steigt als sinkt.<\/p>\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1200\" height=\"1094\" src=\"https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100.avif\" alt=\"Die Crawl-Statistiken der Google Search Console zeigen f\u00fcr wpconsults.com insgesamt 14,2 Tausend Crawl-Anfragen und eine durchschnittliche Antwortzeit von 460 ms an.\" class=\"wp-image-8100\" srcset=\"https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100.avif 1200w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100-300x274.avif 300w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100-1024x934.avif 1024w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100-768x700.avif 768w, https:\/\/www.wpconsults.com\/wp-content\/uploads\/2026\/07\/search-console-crawl-stats-host-status-for-wpconsults-com-8100-13x12.avif 13w\" sizes=\"auto, (max-width: 1200px) 100vw, 1200px\" \/><figcaption class=\"wp-element-caption\">Crawl-Statistiken zum Host-Status unserer Website: Gesamtzahl der Anfragen, durchschnittliche Antwortzeit und ein Host-spezifischer Zustandscheck \u2013 alles direkt in der Search Console.<\/figcaption><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Wenn Sie \u00fcber die Zusammenfassung hinausgehen m\u00f6chten, zeigen Ihre Server-Rohprotokolle genau, welcher Crawler wann welche URL aufgerufen hat. Wie man diese Protokolle auswertet \u2013 einschlie\u00dflich der Unterscheidung zwischen den verschiedenen Crawler-Typen \u2013 haben wir in unserem Leitfaden zu <a href=\"https:\/\/www.wpconsults.com\/de\/logfile-analyse-ai-crawlers\/\">Analyse von Protokolldateien f\u00fcr KI- und Such-Crawler<\/a>.<\/p>\n\n\n<h2 class=\"wp-block-heading\">Sollte sich Ihr Shop also Gedanken \u00fcber das Crawl-Budget machen?<\/h2>\n\n<p class=\"wp-block-paragraph\">Ehrlich gesagt lautet die Antwort f\u00fcr die meisten Shops \u201cNein\u201d, und das \u00fcberarbeitete Dokument best\u00e4tigt dies stillschweigend. Wenn Ihre Produkte bereits am Tag ihrer Ver\u00f6ffentlichung gecrawlt werden und die Search Console nicht voller URLs mit dem Status \u201eEntdeckt, derzeit nicht indexiert\u201c ist, sollten Sie Ihre Zeit lieber f\u00fcr Inhalte und Links nutzen, anstatt einer Crawling-Obergrenze hinterherzujagen, die Sie ohnehin nicht erreichen.<\/p>\n\n\n<p class=\"wp-block-paragraph\">Die H\u00e4ndler, die sich dar\u00fcber Gedanken machen sollten, sind die gro\u00dfen, schnelllebigen Versandh\u00e4ndler, und f\u00fcr sie ist die eigentliche Neuigkeit vom Juli 2026 der gemeinsame Pool: Euer Feed, eure Bilder und Anzeigen stehen nun in offensichtlicher Konkurrenz zur Produktsuche. Ein \u00fcberladener URL-Satz oder ein schwerf\u00e4lliger Feed ist also kein separates Problem neben \u201cGoogle findet meine Produkte nur langsam\u201d, sondern die Ursache daf\u00fcr. Mein Rat ist absichtlich langweilig. Pr\u00fcfen Sie zun\u00e4chst, ob Sie das Problem \u00fcberhaupt haben, und beheben Sie dann doppelte URLs und Serverprobleme, bevor Sie sich an ausgekl\u00fcgelte Ma\u00dfnahmen wagen \u2013 denn genau daf\u00fcr ist das eigentliche Budget vorgesehen.<\/p>\n\n\n<h2 class=\"wp-block-heading\">H\u00e4ufige Fragen zum Crawl-Budget f\u00fcr Shops<\/h2>\n\n<div class=\"wpc-faq\">\n  <details class=\"wpc-faq-item\" open>\n    <summary><h3>Wie kann ich das Crawl-Budget meines Shops \u00fcberpr\u00fcfen?<\/h3><\/summary>\n    <div class=\"wpc-faq-answer\"><p>\u00d6ffnen Sie die Search Console, gehen Sie zu \u201eEinstellungen\u201c und dann zu \u201eCrawl-Statistiken\u201c. Dort werden die Gesamtzahl der Crawl-Anfragen, die durchschnittliche Antwortzeit, der Host-Status sowie eine Aufschl\u00fcsselung nach Googlebot-Typ angezeigt \u2013 dies kommt einer Echtzeit-\u00dcbersicht dar\u00fcber, wie Ihr Budget verwendet wird, am n\u00e4chsten, die Google Ihnen bietet.<\/p><\/div>\n  <\/details>\n  <details class=\"wpc-faq-item\" open>\n    <summary><h3>Wird durch das Blockieren von Filter-URLs in der robots.txt-Datei Crawl-Budget f\u00fcr meine Produkte freigesetzt?<\/h3><\/summary>\n    <div class=\"wpc-faq-answer\"><p>Nicht von selbst. Google gibt an, dass es die frei gewordenen Crawling-Kapazit\u00e4ten nicht auf andere Seiten umverteilt, es sei denn, Sie haben bereits Ihre Kapazit\u00e4tsgrenze erreicht. Das Blockieren von unerw\u00fcnschten URLs hilft Google zwar dabei, sich auf die richtigen Seiten zu konzentrieren, verschafft Ihnen jedoch keinen zus\u00e4tzlichen Spielraum.<\/p><\/div>\n  <\/details>\n  <details class=\"wpc-faq-item\" open>\n    <summary><h3>Wie hoch ist die maximale Crawl-Kapazit\u00e4t?<\/h3><\/summary>\n    <div class=\"wpc-faq-answer\"><p>Dies ist die maximale Anzahl an gleichzeitigen Crawling-Vorg\u00e4ngen, die Google auf Ihrer Website durchf\u00fchrt, zuz\u00fcglich der Verz\u00f6gerung zwischen den einzelnen Abrufen, die so festgelegt ist, dass Ihr Server nicht \u00fcberlastet wird. Jede Website beginnt mit derselben konservativen Standardeinstellung, und Google erh\u00f6ht diese erst, wenn Ihr Server nachweist, dass er mehr bew\u00e4ltigen kann.<\/p><\/div>\n  <\/details>\n<\/div>\n\n\n\n<div class=\"wp-block-group wpc-post-cta is-layout-flow wp-block-group-is-layout-flow\">\n<p class=\"wpc-post-cta__kicker wp-block-paragraph\">Zusammenarbeit mit WpConsults<\/p>\n<h3 class=\"wp-block-heading\">Sind Sie sich nicht sicher, ob Ihr Shop ein Problem mit dem Crawl-Budget hat?<\/h3>\n<p class=\"wp-block-paragraph\">Falls Ihre Produktseiten nur langsam gefunden werden oder ein gro\u00dfer Teil davon unter \u201cEntdeckt, derzeit nicht indexiert\u201d aufgef\u00fchrt ist, kann ich Ihre Crawl-Statistiken und Protokolle auswerten und Ihnen sagen, ob es sich tats\u00e4chlich um ein Crawl-Budget-Problem handelt oder um ein verstecktes Problem mit doppelten URLs.<\/p>\n\n<div class=\"wpc-post-cta__actions\">\n<a class=\"wpc-btn wpc-btn-primary\" href=\"https:\/\/www.wpconsults.com\/de\/arbeit-mit-wpconsults\/\">Lass dir dabei helfen<\/a>\n<a class=\"wpc-post-cta__alt\" href=\"mailto:abdullah@wpconsults.com\">oder schreib mir eine E-Mail<\/a>\n<\/div>\n\n<\/div>\n\n\n\n<div class=\"wp-block-group wpc-changelog is-layout-flow wp-block-group-is-layout-flow\" id=\"article-update-logs\">\n<h2 class=\"wp-block-heading\">\u00c4nderungsprotokolle<\/h2>\n<p class=\"wp-block-paragraph\"><strong>23. Juli 2026<\/strong><\/p>\n<ul class=\"wp-block-list\"><li>Erstver\u00f6ffentlichung, basierend auf Googles \u00dcberarbeitung des Crawl-Budgets vom 22. Juli 2026, erg\u00e4nzt durch unsere eigenen Crawl-Statistiken und einen HTTP-304-Test aus erster Hand auf unserem Origin-Server.<\/li><\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>Crawl-Budget f\u00fcr E-Commerce-Websites nach Googles \u00fcberarbeiteter Dokumentation: Was der gemeinsame Crawl-Kapazit\u00e4tspool f\u00fcr Ihren Shop bedeutet, ein HTTP-304-Test aus erster Hand und warum die meisten Shops eigentlich kein Problem haben.<\/p>","protected":false},"author":1,"featured_media":8099,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_kb_optimizer_status":0,"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","rank_math_title":"Crawl Budget for eCommerce Sites: Who Actually Has a Problem","rank_math_description":"Crawl budget for ecommerce sites after Google's 2026 doc rewrite: the shared crawl capacity pool, a first-hand HTTP 304 test, and who can safely ignore it.","rank_math_focus_keyword":"crawl budget for ecommerce sites","_colophon_preset":"regular","_colophon_fc_on":"1","_colophon_edited_on":"1","_wpc_translation_mode":"keep","_wpc_translation_visited":"2026-07-23 09:56 UTC, pass 3\/3 (fr_CA, de_DE)","_wpc_keep_translation":false,"_wpc_lastmod":"","footnotes":""},"categories":[101,89],"tags":[],"class_list":["post-8102","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ecommerce-seo","category-technical-seo"],"_links":{"self":[{"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/posts\/8102","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/comments?post=8102"}],"version-history":[{"count":2,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/posts\/8102\/revisions"}],"predecessor-version":[{"id":8104,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/posts\/8102\/revisions\/8104"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/media\/8099"}],"wp:attachment":[{"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/media?parent=8102"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/categories?post=8102"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.wpconsults.com\/de\/wp-json\/wp\/v2\/tags?post=8102"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}