Welche Funktion hat die Datei robots.txt und wie sollte eine robots.txt für WordPress aussehen?
In der robots.txt kannst du angeben, welches Verhalten du von Webcrawlern auf deiner Webseite wünschst.
Wird die robots.txt von WordPress automatisch erstellt?
Solange du nicht selbst eine separate robots.txt erstellt hast, erstellt WordPress eine eigene virtuelle. WordPress legt diese Datei mit nur wenigen Beschränkungen an und hält diese per default recht schlank.
- User-agent: *
- Disallow: /wp-includes/
- Disallow: /wp-admin/
Per default wird von WordPress festgelegt, welche Suchmaschine ihre Seite indexieren darf ( * = ALLE ) und das deine Seite bis auf die Verzeichnisse /wp-includes und /wp-admin indexiert werden darf.
Wo liegt die robots.txt?
Wenn du die robots.txt manuell anlegen möchtest, musst du diese im Ordner /httpdocs deines Hostingaccounts platzieren. Dies kannst du über eine FTP-Verbindung oder über den Filemanager in Plesk machen.
Wie sollte die Datei aussehen?
Die Standard-Einstellungen von WordPress sorgen zwar dafür, dass die Seite auch indexiert werden kann, jedoch ist es ratsam, die robots.txt manuell so anzupassen, dass auch die Plugins nicht in den Suchergebnissen auftauchen. Sollte nämlich bei einem deiner Plugins eine Sicherheitslücke auftauchen, ist es für einen Angreifer sehr einfach die Installation des Plugins auch bei dir ausfindig zu machen. Folglich solltest du also nur Informationen freigeben, welche du auch mit der Öffentlichkeit teilen möchtest.
Je nach Seitenstruktur und eigenen Präferenzen definiert jeder die Eintragungen in der robots.txt-Datei für WordPress etwas anders.
Diese Eintragungen dienen zur Orientierung und decken die wichtigsten Fälle ab:
- User-agent: *
- Disallow: /wp-includes/
- Disallow: /wp-admin/
- Disallow: /wp-content/plugins/
- Disallow: /wp-content/themes/
Gibt es Plugins zur Anpassung?
Wie für fast alles, gibt es für die Anpassung auch WordPress-Plugins, welche dir bei der Erstellung und Anpassung behilflich sein können. Im Bereich der SEO-Plugins gibt es einige mit denen du eine eine robots.txt direkt im WordPress-Backend erstellen und verändern kannst.
Zu den bekanntesten zählt dabei das SEO-Plugin Yoast SEO, welches sich direkt über WordPress installieren lässt.
Wenn du das Plugin erfolgreich installiert hast, findest du im Bereich „SEO“ > „Werkzeuge“ > „Datei Editor“ die Möglichkeit, deine robots.txt direkt in WordPress zu bearbeiten.
Verwandte FAQ-Artikel
FTP-Zugang einrichten und nutzen