Wenn dein WooCommerce-Shop zeitweise gar nicht mehr oder nur sehr langsam erreichbar ist, obwohl du selbst nichts geändert hast, kann das an automatisierten Crawlern liegen, die deine Filter- und Facettennavigation aufrufen. Gerade bei Shops mit vielen Produktvarianten (Farbe, Größe, Material etc.) lassen sich daraus enorm viele Kombinationen von Filter-URLs erzeugen. Ruft ein Crawler diese systematisch ab, kann das zu einer massiven Datenbank- und Speicherlast führen und im schlimmsten Fall den Server so stark auslasten, dass PHP-Prozesse abgebrochen werden (sichtbar z. B. als 524- oder 503-Fehler).
Voraussetzungen
- Ein WooCommerce-Shop mit Filter- bzw. Facettennavigation (z. B. Filterung nach mehreren Attributen gleichzeitig)
- Zugriff auf das Kundencenter bzw. Plesk, um die robots.txt anzupassen
- Zugriff auf die Server-Logs oder Unterstützung durch den HostPress-Support zur Bestätigung der Ursache
Schritt-für-Schritt-Anleitung
Schritt 1: Symptome erkennen
Typische Anzeichen für dieses Problem sind wiederkehrende Ausfälle oder starke Verlangsamungen, die zeitlich mit erhöhter Crawler-Aktivität zusammenfallen, sowie Fehlercodes wie 524 (Timeout) oder 503 (Dienst nicht verfügbar) beim Aufruf von Produktseiten oder Filteransichten.
Schritt 2: Ursache über die Logs eingrenzen (lassen)
Support-seitig lässt sich in den Server-Logs erkennen, ob Anfragen mit stark verschachtelten Filterkombinationen (mehrere Produktvarianten mit UND/ODER-Verknüpfungen in der URL) gehäuft auftreten, insbesondere von bekannten Crawler-User-Agents. Wende dich an den Support, wenn du selbst keinen Zugriff auf die Logs hast.
Schritt 3: Betroffene Crawler in der robots.txt aussperren
Trage in deiner robots.txt gezielt Regeln ein, die verhindern, dass Crawler deine Filter-URLs mit vielen Parametern abrufen. Ein Beispiel:
- Disallow für URL-Muster mit mehreren gleichzeitigen Filterparametern (z. B. Parameter-Kombinationen mit „?filter“ oder ähnlichen Query-Strings, je nach eingesetztem Filter-Plugin)
- Bekannte, besonders aggressive Crawler gezielt per User-Agent ausschließen
Wie du die robots.txt grundsätzlich bearbeitest, erfährst du in unserem Artikel zur Funktion der robots.txt.
Schritt 4: Technische Begrenzung der Filterkombinationen prüfen
Prüfe gemeinsam mit deiner Agentur bzw. deinem Entwickler, ob die Filternavigation deines Shops technisch so eingeschränkt werden kann, dass keine beliebig verschachtelten Kombinationen als eigene, crawlbare URL erzeugt werden (z. B. durch „nofollow“ auf Filterlinks oder eine kanonische URL für gefilterte Ansichten).
Schritt 5: Überwachung nach der Anpassung
Beobachte nach der Anpassung der robots.txt und ggf. weiterer Maßnahmen, ob die Erreichbarkeitsprobleme erneut auftreten. Melde dich beim Support, falls es weiterhin zu Ausfällen kommt.
Fazit & Support-Hinweis
Wiederholte Ausfälle oder Timeouts bei einem WooCommerce-Shop mit vielen Filteroptionen sind häufig nicht auf einen klassischen Serverfehler zurückzuführen, sondern auf Crawler, die deine Facettennavigation systematisch abrufen. Eine angepasste robots.txt und eine technische Begrenzung der Filterkombinationen helfen, die Last dauerhaft zu reduzieren. Bei Unsicherheit, ob dieses Problem bei dir vorliegt, hilft dir unser Support gerne bei der Analyse der Server-Logs.