Filter-Crawling

Was ist Filter-Crawling?

Filter-Crawling bezeichnet das gezielte oder unkontrollierte Crawlen von URL-Varianten, die durch Filter und Facetten in Onlineshops entstehen (z. B. Farbe, Größe, Preis). Es entscheidet darüber, ob Suchmaschinen diese Filterseiten erfassen, wie stark der Crawl-Budget-Verbrauch ist und welche Varianten in den Index gelangen.

1. Grundlagen: Was bedeutet Filter-Crawling im E-Commerce?

Unter Filter-Crawling versteht man, wie Suchmaschinen-Crawler (z. B. der Googlebot) mit URLs umgehen, die durch Filter, Facetten oder Parameternavigation in einem Onlineshop entstehen. Typische Beispiele sind Filter für Größe, Farbe, Marke, Preisbereiche oder Material.

Filter-Crawling ist ein Spezialfall der technischen Suchmaschinenoptimierung und betrifft vor allem Shops mit vielen Produkten und Varianten. Es entscheidet mit darüber, ob dein Crawl-Budget sinnvoll eingesetzt wird, ob du unnötigen Duplicate Content erzeugst und ob wichtige Kategorie- und Produktseiten ihre volle Sichtbarkeit entfalten können.

2. Warum ist Filter-Crawling so wichtig für Onlineshops?

Filter- und Facettennavigation ist für Nutzer unverzichtbar, um in großen Sortimenten schnell passende Produkte zu finden. Für Suchmaschinen kann die gleiche Logik aber zur Falle werden: Aus wenigen Filtern entstehen oft tausende bis Millionen URL-Kombinationen.

Jede gefilterte Seite erzeugt in der Regel eine eigene URL (z. B. mit Parametern wie ?color=blau&size=42).
Ohne Steuerung crawlt Google viele dieser Varianten und verbraucht damit Crawl-Budget.
Ein Teil dieser Seiten landet im Index, obwohl sie keinen eigenen Mehrwert gegenüber der Hauptkategorie haben.

Ein sauberes Filter-Crawling-Setup sorgt dafür, dass Crawler vor allem die Seiten besuchen, die wirklich relevant sind: starke Kategorien, relevante Unterkategorien, Landingpages für wichtige Filterkombinationen und natürlich die Produktdetailseiten.

3. Wie entstehen Filter-URLs technisch?

Damit du Filter-Crawling effektiv steuern kannst, ist es hilfreich, die technischen Muster hinter Filter-URLs zu kennen. In der Praxis triffst du vor allem auf drei Varianten:

Parameter-URLs: Filterwerte werden als Query-Parameter angehängt (z. B. /schuhe?farbe=schwarz&groesse=43).
SEO-freundliche Pfade: Filterwerte werden in den URL-Pfad integriert (z. B. /schuhe/herren/schwarz/groesse-43/).
Mischformen: ein Teil im Pfad, weitere Werte als Parameter (z. B. /schuhe/herren/schwarz?groesse=43).

Je nach Shop-System (z. B. Shopware, Magento, Shopify Plus, Spryker) und individueller Implementierung unterscheiden sich die Möglichkeiten, Filter-Crawling zu steuern. Die Grundprinzipien bleiben aber gleich: Du brauchst klare Regeln, welche Kombinationen gecrawlt und indexiert werden dürfen und welche nicht.

4. Chancen und Risiken von Filter-Crawling

Filter-Crawling wird oft nur als Problem gesehen, tatsächlich bietet ein durchdachter Ansatz aber auch Chancen für SEO und Conversion.

4.1 Risiken bei unkontrolliertem Filter-Crawling

Verschwendung von Crawl-Budget: Googlebot investiert Zeit in schwache Filterseiten, während wichtige Seiten seltener gecrawlt werden.
Duplicate Content: ähnliche oder identische Produktlisten über viele Filter-Kombinationen verwässern Relevanzsignale.
Index-Bloat: der Index wird mit wenig hilfreichen Seiten gefüllt, was die Auswertung und Steuerung erschwert.
Unklare interne Verlinkung: Pagerank und interne Linkkraft verteilen sich auf tausende Varianten.

4.2 Chancen bei gezieltem Filter-Crawling

Longtail-Traffic: sinnvoll optimierte Filter-Kombinationen (z. B. „schwarze Damen Laufschuhe Größe 39“) können zusätzliche Rankings bringen.
Bessere Nutzerführung: wenn Nutzer von Google direkt auf hochrelevante, gefilterte Landingpages kommen, steigt die Conversion-Rate.
Saubere Informationsarchitektur: klar definierte Filter-URLs unterstützen die Struktur deines Shops.

Wichtig ist, dass du bewusst entscheidest, welche Filterseiten diese Rolle einnehmen dürfen und welche nur für die interne Navigation genutzt werden.

5. Steuerung von Filter-Crawling: wichtigste Hebel

Für die Steuerung von Filter-Crawling gibt es mehrere technische Stellschrauben. In der Praxis kombinierst du meist mehrere davon, abgestimmt auf dein Shop-System und dein Sortiment.

5.1 Robots.txt und Disallow-Regeln

Über die robots.txt kannst du Crawler vom Abruf bestimmter URL-Muster ausschließen. Typisch sind Disallow-Regeln für bestimmte Parameter oder Pfade.

Vorteil: reduziert direkt das Crawling wenig relevanter Filter-Varianten.
Nachteil: verhindert auch, dass Google Signale auf diesen URLs auswertet (z. B. Canonicals) und kann bei falscher Konfiguration wichtige Seiten blocken.

Die robots.txt ist ein starker Hebel und sollte mit Vorsicht eingesetzt werden, insbesondere bei großen E-Commerce-Projekten.

5.2 Meta Robots und Noindex

Mit dem Meta-Robots-Tag im HTML-Header kannst du steuern, ob eine Seite indexiert wird (index/noindex) und ob Links verfolgt werden (follow/nofollow).

noindex, follow für Filter-URLs, die gecrawlt, aber nicht im Index erscheinen sollen.
index, follow für ausgewählte Filter-Landingpages, die bewusst ranken sollen.

Im Kontext Filter-Crawling ist „noindex, follow“ ein häufig genutztes Muster, um die interne Verlinkung zu erhalten, aber Index-Bloat zu vermeiden.

5.3 Canonical-Tags

Der Canonical-Tag zeigt Suchmaschinen an, welche URL als bevorzugte Version eines Inhalts gilt. Bei Filterseiten kann er genutzt werden, um Varianten auf die ungefilterte Kategorie zurückzuführen.

Filterseite mit geringem Mehrwert: Canonical auf die Hauptkategorie.
Relevante Filter-Landingpage: selbstreferenzieller Canonical (auf sich selbst).

Canonicals sind besonders wichtig, wenn dein Shop-System Filter über Parameter-URLs löst, die stark überlappende Produktlisten erzeugen.

5.4 URL-Parameter-Handling

Früher gab es in der Google Search Console spezielle Funktionen für URL-Parameter, heute liegt der Fokus stärker auf sauberen Signalen aus dem Shop selbst. Trotzdem ist das interne Handling von Parametern entscheidend:

Nur notwendige Parameter nutzen, überflüssige Tracking-Parameter vermeiden.
Konsistente Reihenfolge und Schreibweise von Parametern sicherstellen.
Wichtige Filter als eigenständige, sprechende URLs abbilden.

6. Filter-Crawling-Strategien: Was soll gecrawlt und indexiert werden?

Die Kernfrage lautet: Welche Filter-Kombinationen bringen echten Mehrwert und sollten daher vom Filter-Crawling profitieren, also gecrawlt und (teilweise) indexiert werden?

6.1 Sinnvolle Filter-Kombinationen identifizieren

Für eine Strategie mit hohem ROI lohnt es sich, Filter und Facetten nach Relevanz zu bewerten:

Suchvolumen: Welche Kombinationen werden tatsächlich gesucht (z. B. „Nike Laufschuhe Damen schwarz“)?
Sortimentsbreite: Gibt es genug Produkte, um eine starke Landingpage zu füllen?
Geschäftsrelevanz: Welche Filter sind umsatz- oder margenstark (z. B. Premium-Marken, bestimmte Kategorien)?

Nur Filter-Kombinationen, die diese Kriterien erfüllen, sollten als eigenständige SEO-Landingpages für das Filter-Crawling geöffnet werden.

6.2 Typische Filter, die selten SEO-Relevanz haben

Es gibt Filter, die in der Regel keinen eigenständigen SEO-Wert besitzen und daher oft vom Index ausgeschlossen werden:

Sortierung (Preis aufsteigend/absteigend, Neuheiten)
Verfügbarkeitsfilter (nur verfügbare Artikel)
Sehr feingranulare technische Filter ohne Suchvolumen

Solche Filter solltest du vom Filter-Crawling eher abschirmen, um dein Crawl-Budget zu schützen.

7. Typische Probleme beim Filter-Crawling in Onlineshops

In vielen realen Projekten tauchen ähnliche Muster auf, wenn Filter-Crawling nicht bewusst konzipiert wurde.

7.1 Unbegrenzte Kombinationen

Wenn Crawler jede beliebige Kombination aus allen Filtern aufrufen können, entstehen exponentiell viele URLs. Schon bei 10 Filtern mit je 10 Werten sind theoretisch 10¹⁰ Kombinationen möglich. Natürlich werden nicht alle verlinkt, aber selbst ein Bruchteil davon sprengt jedes sinnvolle Crawl-Budget.

7.2 Session- und Tracking-Parameter

Parameter wie Session-IDs, Kampagnen-Tracking oder Paginierung können das Filter-Crawling zusätzlich aufblähen, wenn sie nicht sauber gehandhabt werden. Hier ist es wichtig, klar zu trennen zwischen:

Parametern mit inhaltlicher Relevanz (Filter, Facetten)
Parametern ohne inhaltliche Relevanz (Tracking, Sessions, interne Sortierung)

7.3 Fehlende Konsistenz in Canonicals

Ein häufiger Fehler ist, dass Canonical-Tags nicht konsistent gesetzt werden, etwa wenn manche Filterseiten auf die Kategorie zeigen, andere auf sich selbst oder sogar auf Paginierungsseiten. Dies erschwert Suchmaschinen die Interpretation der gewünschten Haupt-URLs.

8. Best Practices für ein sauberes Filter-Crawling

Für einen stabilen, skalierbaren Ansatz im E-Commerce haben sich einige Best Practices etabliert. Sie lassen sich unabhängig vom konkreten Shop-System anwenden.

8.1 Filter priorisieren und Rollen vergeben

Ordne deine Filter in sinnvolle Kategorien ein:

Filter-Typ	Beispiele	Rolle für SEO
Primäre Filter	Kategorie, Marke, Geschlecht, Hauptfarbe	Oft eigene SEO-Landingpages, Filter-Crawling erlaubt
Sekundäre Filter	Größe, Preisbereich, Material	Teilweise relevant, selektives Crawling/Indexierung
Technische Filter	Sortierung, Verfügbarkeit, Aktionen	Meist kein SEO-Fokus, Crawling oft einschränken

Diese Einteilung hilft dir, Regeln für Filter-Crawling und Indexierung pro Filter-Gruppe zu definieren.

8.2 Einheitliche URL-Struktur definieren

Lege fest, wie Filter in URLs auftauchen sollen und halte dich konsequent daran:

Klare Reihenfolge der Filter im Pfad oder in Parametern.
Keine doppelten Schreibweisen (z. B. ?color=schwarz und ?farbe=schwarz gleichzeitig).
Wenn möglich sprechende URLs statt rein technischer Parameter.

Eine konsistente Struktur erleichtert es sowohl Suchmaschinen als auch internen Teams, Filter-Crawling zu analysieren und zu optimieren.

8.3 Definierte SEO-Landingpages für wichtige Filterkombinationen

Für besonders relevante Kombinationen aus Kategorie und Filter (z. B. „Nike Laufschuhe Damen“) lohnt sich eine gezielt aufgebaute Landingpage mit eigenem Content:

Eigene, saubere URL ohne überflüssige Parameter.
Individueller Einleitungstext, FAQs oder Beratungsinhalte.
Selbstreferenzieller Canonical, Meta-Title und Description optimiert.

Solche Seiten nutzen die Logik des Filter-Crawlings, sind aber gleichzeitig redaktionell und technisch sauber eingebunden.

9. Filter-Crawling messen und überwachen

Damit du beurteilen kannst, ob dein Ansatz funktioniert, brauchst du Monitoring. Wichtige Datenquellen sind:

Logfile-Analysen (wie oft ruft der Googlebot Filter-URLs auf?)
Google Search Console (Abdeckung, Crawling-Statistiken, Indexierungsstatus)
SEO-Tools und Crawler, die Filter-Muster erkennen

9.1 Wichtige Kennzahlen rund um Filter-Crawling

Kennzahl	Beschreibung	Zielbild
Anteil Filter-URLs am Crawling	Wie viel Prozent der gecrawlten URLs sind Filter-Varianten?	Deutlich unter 50 %, je nach Shopgröße oft eher 10–30 %
Anteil Filter-URLs im Index	Wie viele Filterseiten sind indexiert?	Nur definierte SEO-Landingpages, Rest möglichst „noindex“
Traffic je Filter-Landingpage	Organischer Traffic auf freigegebene Filter-Kombinationen	Stetiges Wachstum, klar meßbarer Longtail-Anteil

10. Zusammenhang von Filter-Crawling, Content-Automatisierung und Skalierung

Je größer dein Sortiment, desto stärker wirkt sich Filter-Crawling auf deine SEO-Performance aus. Gleichzeitig wächst der Bedarf an skalierbarem, konsistentem Content für Kategorien, Produkte und relevante Filter-Landingpages.

Ein datengetriebener, templatebasierter Ansatz hilft dir, diese Skalierung zu meistern:

Produktdaten aus Feeds (z. B. XML, CSV) dienen als Single Source of Truth.
Pro Kategorie oder Filter-Kombination kannst du feste Textbausteine, Struktur und Tonalität definieren.
Neue oder geänderte Filter-Landingpages lassen sich schnell und einheitlich mit hochwertigem Content versorgen.

Damit wird Filter-Crawling von einem reinen Technikthema zu einem strategischen Hebel, bei dem technische Steuerung, Produktdatenqualität und Content-Erstellung zusammenspielen.

11. Häufige Fragen zu Filter-Crawling

Was versteht man unter Filter-Crawling in einem Onlineshop?

Filter-Crawling beschreibt, wie Suchmaschinen-Crawler mit den vielen URL-Varianten umgehen, die durch Filter und Facetten in einem Onlineshop entstehen, zum Beispiel nach Farbe, Größe oder Marke, und ob diese URLs gecrawlt und eventuell indexiert werden.

Warum kann unkontrolliertes Filter-Crawling problematisch für SEO sein?

Unkontrolliertes Filter-Crawling führt häufig zu einer großen Anzahl ähnlicher oder weitgehend identischer Seiten, was Crawl-Budget verschwendet, Duplicate Content erzeugt und den Index mit wenig hilfreichen URLs füllt, wodurch wichtige Kategorie- und Produktseiten an Sichtbarkeit verlieren können.

Sollten Filterseiten grundsätzlich indexiert oder auf noindex gesetzt werden?

Die meisten generischen Filterseiten sollten auf noindex, follow gesetzt werden, damit sie nicht im Index landen, aber weiterhin interne Linkkraft weitergeben, während nur ausgewählte, suchrelevante Filterkombinationen als eigene SEO-Landingpages indexiert werden sollten.

Wie unterscheidet sich Filter-Crawling von Facettennavigation?

Facettennavigation bezeichnet die Art und Weise, wie Nutzer Produkte über Filter wie Farbe, Größe oder Preis eingrenzen, während Filter-Crawling speziell beschreibt, wie Suchmaschinen die dadurch entstehenden URLs erfassen, bewerten und eventuell indexieren.

Welche technischen Mittel helfen bei der Steuerung von Filter-Crawling?

Zu den wichtigsten technischen Hebeln gehören eine durchdachte robots.txt, sinnvoll gesetzte Meta-Robots-Tags wie noindex, follow, konsistente Canonical-Tags, klare URL-Strukturen für Parameter sowie eine Priorisierung der Filter nach SEO-Relevanz.

Wie erkenne ich, ob mein Filter-Crawling ineffizient ist?

Hinweise auf ineffizientes Filter-Crawling sind unter anderem sehr viele ähnliche URLs im Index, ein hoher Anteil von Filter-URLs in den Crawling-Statistiken, viele Seiten mit dem Status gecrawlt aber derzeit nicht indexiert und geringe oder keine organische Zugriffe auf den Großteil der Filterseiten.

Können gefilterte Seiten sinnvoll als SEO-Landingpages genutzt werden?

Ja, wenn für eine bestimmte Kombination aus Kategorie und Filter ein klares Suchvolumen und genug passende Produkte vorhanden sind, kann eine solche gefilterte Seite als optimierte SEO-Landingpage mit eigenem Content, sauberer URL-Struktur und selbstreferenziellem Canonical aufgebaut werden.

12. Nächste Schritte: Du möchtest feed2content.ai ® kennenlernen?

Wenn du Filter-Crawling sauber steuern und gleichzeitig mehr hochwertigen Produkt- und Kategorietext in kurzer Zeit erzeugen möchtest, lohnt sich ein Blick auf automatisierte, feedbasierte Content-Erstellung. So kannst du relevante Filter-Landingpages gezielt mit passenden Texten aus deinen Produktdaten versorgen und ihre Sichtbarkeit sauber skalieren.

Sieh dir unsere Funktionen live an und teste feed2content.ai ® kostenfrei.

Kostenlos starten

Du hast noch Fragen?

Kontakt