Funktion der robots.txt

Welche Funktion hat die Datei robots.txt und wie sollte eine robots.txt für WordPress aussehen?

In der robots.txt kannst du angeben, welches Verhalten du von Webcrawlern auf deiner Webseite wünschst.

Wird die robots.txt von WordPress automatisch erstellt?

Solange du nicht selbst eine separate robots.txt erstellt hast, erstellt WordPress eine eigene virtuelle. WordPress legt diese Datei mit nur wenigen Beschränkungen an und hält diese per default recht schlank.

• User-agent: *
• Disallow: /wp-includes/
• Disallow: /wp-admin/

Per default wird von WordPress festgelegt, welche Suchmaschine ihre Seite indexieren darf ( * = ALLE ) und das deine Seite bis auf die Verzeichnisse /wp-includes und /wp-admin indexiert werden darf.

Wo liegt die robots.txt?

Wenn du die robots.txt manuell anlegen möchtest, musst du diese im Ordner /httpdocs deines Hostingaccounts platzieren. Dies kannst du über eine FTP-Verbindung oder über den Filemanager in Plesk machen.

robots.txt liefert einen 500er-Fehler statt der erwarteten Datei

Normalerweise liefert dir der Aufruf von https://deinedomain.de/robots.txt entweder deine eigene, manuell angelegte Datei oder die von WordPress automatisch erzeugte virtuelle Version. Erscheint dort stattdessen ein Server-Fehler (z. B. „500 Internal Server Error“), kann das insbesondere die technische Auslieferung von Werbekampagnen (etwa Google Ads) oder die Indexierung durch Suchmaschinen beeinträchtigen.

robots.txt liefert nach einem Plesk-Update plötzlich eine falsche Seite aus

Neben einem klassischen 500er-Fehler kann es nach einem Plesk-Update auch vorkommen, dass deine robots.txt plötzlich nicht mehr die erwartete Datei ausliefert, sondern zum Beispiel eine Sicherheits- oder Challenge-Seite, eine leere Seite oder einen unerwarteten Inhalt. Das betrifft dann in der Regel auch die sitemap.xml und kann dazu führen, dass Suchmaschinen deine Seite nicht mehr crawlen können und sie im schlimmsten Fall aus dem Index entfernen.

Warum passiert das?

Plesk-Updates können in seltenen Fällen serverseitige Sicherheitseinstellungen oder virtuelle Verzeichnis-Regeln zurücksetzen oder neu anwenden. Dabei kann es passieren, dass die Auslieferung der robots.txt (und anderer bekannter Dateien) vorübergehend durch eine Sicherheitsregel blockiert oder umgeleitet wird, obwohl die Datei selbst unverändert und korrekt im Verzeichnis liegt.

So erkennst du das Problem

1. Rufe https://deinedomain.de/robots.txt direkt im Browser auf und vergleiche den Inhalt mit dem, was du erwartest.
2. Prüfe zusätzlich https://deinedomain.de/sitemap.xml – tritt das gleiche Verhalten dort auf, deutet das auf eine serverseitige Ursache statt auf ein WordPress- oder Plugin-Problem hin.
3. Teste den Aufruf zusätzlich mit einem anderen Nutzer-Agent (z. B. über die Google Search Console „URL-Prüfung“), um auszuschließen, dass nur bestimmte Crawler betroffen sind.
4. Prüfe, ob kurz vor dem Auftreten des Problems ein Plesk-Update oder ein sonstiges Server-Update stattgefunden hat (Zeitpunkt lässt sich beim Support erfragen).

So lässt du das Problem beheben

• Kontaktiere den HostPress-Support mit der betroffenen Domain und dem ungefähren Zeitpunkt, seit dem das Verhalten auftritt.
• Der Support kann prüfen, ob eine Sicherheitsregel oder Server-Konfiguration die Auslieferung der robots.txt blockiert, und diese gezielt wieder freigeben.
• Stoße im Anschluss bei extern angebundenen Diensten (z. B. Google Search Console) ein erneutes Crawling an, damit die Wiederherstellung möglichst schnell erkannt wird.

Gut zu wissen: Wenn du zusätzlich einen eigenen Sicherheits- oder Proxy-Dienst (z. B. einen externen Bot- oder DDoS-Schutz) vor deiner Website einsetzt, prüfe im Zweifel auch dort, ob dieser Dienst Suchmaschinen-Crawler blockiert – nicht jede Auffälligkeit mit Challenge-Seiten stammt vom Hosting-Server.

Wie kannst du die Ursache eingrenzen?

1. Prüfe per FTP oder Dateimanager im Ordner /httpdocs, ob dort tatsächlich eine robots.txt-Datei liegt.
2. Ist keine Datei vorhanden, obwohl vorher eine existiert hat (z. B. weil sie manuell angelegt oder über ein SEO-Plugin erzeugt wurde), kann eine zuvor bestehende Datei versehentlich gelöscht oder bei einer Änderung nicht korrekt neu geschrieben worden sein.
3. Prüfe zusätzlich das Plesk-Error-Log sowie deine Speicher-Quota – auch ein erschöpftes Speicherlimit kann in seltenen Fällen dazu führen, dass keine Datei mehr ausgeliefert werden kann.

So behebst du das Problem

• Lege eine neue robots.txt-Datei im Ordner /httpdocs an (siehe Abschnitt „Wo liegt die robots.txt?“ weiter oben) oder nutze ein SEO-Plugin wie Yoast SEO, um die Datei direkt im WordPress-Backend neu zu erzeugen.
• Rufe die robots.txt anschließend erneut im Browser auf, um zu bestätigen, dass sie wieder ausgeliefert wird.
• Stoße bei extern angebundenen Diensten (z. B. Google Ads oder der Google Search Console) danach gegebenenfalls ein erneutes Crawling an, damit der Dienst die wiederhergestellte Datei erkennt.

Gut zu wissen

Eine fehlende oder fehlerhafte robots.txt hat in aller Regel keine Auswirkungen auf die normale Darstellung deiner Website im Browser – sie betrifft ausschließlich das Verhalten von Suchmaschinen- und Werbe-Crawlern. Ein unauffälliges Frontend ist also kein Widerspruch zu einem 500er-Fehler bei der robots.txt.

Wie sollte die Datei aussehen?

Die Standard-Einstellungen von WordPress sorgen zwar dafür, dass die Seite auch indexiert werden kann, jedoch ist es ratsam, die robots.txt manuell so anzupassen, dass auch die Plugins nicht in den Suchergebnissen auftauchen. Sollte nämlich bei einem deiner Plugins eine Sicherheitslücke auftauchen, ist es für einen Angreifer sehr einfach die Installation des Plugins auch bei dir ausfindig zu machen. Folglich solltest du also nur Informationen freigeben, welche du auch mit der Öffentlichkeit teilen möchtest.

Je nach Seitenstruktur und eigenen Präferenzen definiert jeder die Eintragungen in der robots.txt-Datei für WordPress etwas anders.

Diese Eintragungen dienen zur Orientierung und decken die wichtigsten Fälle ab:

• User-agent: *
• Disallow: /wp-includes/
• Disallow: /wp-admin/
• Disallow: /wp-content/plugins/
• Disallow: /wp-content/themes/

Gibt es Plugins zur Anpassung?

Wie für fast alles, gibt es für die Anpassung auch WordPress-Plugins, welche dir bei der Erstellung und Anpassung behilflich sein können. Im Bereich der SEO-Plugins gibt es einige mit denen du eine eine robots.txt direkt im WordPress-Backend erstellen und verändern kannst.

Zu den bekanntesten zählt dabei das SEO-Plugin Yoast SEO, welches sich direkt über WordPress installieren lässt.

Wenn du das Plugin erfolgreich installiert hast, findest du im Bereich „SEO“ > „Werkzeuge“ > „Datei Editor“ die Möglichkeit, deine robots.txt direkt in WordPress zu bearbeiten.

Verwandte FAQ-Artikel

FTP-Zugang einrichten und nutzen

Verwandte Blog-Artikel

robots.txt und WordPress