Robots.txt für WordPress: Crawling & Indexierung optimieren

Anzeige

Die Bedeutung der robots.txt-Datei für WordPress: Ein umfassender Leitfaden
Die robots.txt-Datei spielt eine zentrale Rolle in der Suchmaschinenoptimierung (SEO) von WordPress-Websites. Sie dient als Steuerdatei für Suchmaschinen-Crawler und gibt an, welche Bereiche der Website indexiert oder ignoriert werden sollen. Eine optimal konfigurierte robots.txt kann die Effizienz der Suchmaschinen-Crawler verbessern, die SEO-Rankings optimieren und die Serverressourcen schonen. In diesem Leitfaden erklären wir, wie die robots.txt-Datei funktioniert, wie man sie erstellt und optimiert, und welche Best Practices es für WordPress gibt.

Was ist die robots.txt-Datei?

Die robots.txt-Datei ist eine einfache Textdatei, die sich im Stammverzeichnis einer Website befindet. Sie dient dazu, Suchmaschinen-Anweisungen zu geben, welche Seiten oder Verzeichnisse durchsucht oder ignoriert werden sollen. Suchmaschinen-Bots wie Googlebot, Bingbot oder YandexBot lesen diese Datei aus, bevor sie mit dem Crawlen der Website beginnen.

Die Datei nutzt das Robots Exclusion Protocol (REP), eine standardisierte Methode zur Kommunikation mit Suchmaschinen-Crawlern. Allerdings sollten Webseitenbetreiber beachten, dass die Befolgung dieser Regeln von den jeweiligen Bots abhängt – es handelt sich um Empfehlungen, keine bindenden Vorschriften.

Anzeige

Warum ist die robots.txt-Datei für WordPress wichtig?

WordPress-Websites enthalten viele dynamische Inhalte, generierte Seiten und Verzeichnisse, die nicht alle von Suchmaschinen indexiert werden sollten. Hier einige wichtige Vorteile der seo robots.txt-Datei:

1. Verhinderung der Indexierung sensibler Bereiche – Backend-Seiten, Admin-Dashboards und andere nicht öffentliche Seiten sollten nicht in den Suchergebnissen erscheinen.
2. Spart Crawl-Budget – Suchmaschinen haben ein begrenztes Crawling-Budget pro Website. Unwichtige Seiten aus dem Crawl zu entfernen hilft, wertvolle Inhalte priorisiert zu indexieren.
3. Schützt Ressourcen und Performance – Durch das Blockieren unnötiger Anfragen werden Serverressourcen geschont und Ladezeiten verbessert.
4. Verhindert Duplicate Content-Probleme – Manche Seiten könnten doppelte Inhalte erzeugen, was sich negativ auf SEO auswirken kann.

So erstellst und bearbeitest du eine robots.txt-Datei in WordPress

Es gibt verschiedene Methoden, um eine robots.txt-Datei in WordPress zu erstellen oder zu bearbeiten:

1. Manuelle Erstellung per FTP

Du kannst eine robots.txt-Datei einfach mit einem Texteditor (z. B. Notepad, Editor, VS Code) erstellen und per FTP-Client (z. B. FileZilla) ins Stammverzeichnis deiner WordPress-Website hochladen:

1. Erstelle eine neue Datei mit dem Namen robots.txt.
2. Füge die gewünschten Anweisungen hinzu (siehe unten).
3. Lade die Datei in das Root-Verzeichnis deiner Website hoch (/public_html/).

Anzeige

2. Nutzung eines SEO-Plugins

Viele WordPress-SEO-Plugins wie Yoast SEO, Rank Math oder All in One SEO Pack bieten eingebaute Funktionen zur Bearbeitung der robots.txt-Datei. So funktioniert es mit Yoast SEO:

1. Installiere und aktiviere das Plugin.
2. Gehe zu SEO > Werkzeuge > Dateibearbeiter.
3. Bearbeite die robots.txt nach Bedarf und speichere die Änderungen.

3. Direkte Bearbeitung im Hosting-Panel

Einige Webhosting-Anbieter wie cPanel oder Plesk bieten Datei-Manager, mit denen du die robots.txt direkt im Browser erstellen oder bearbeiten kannst.

Beispiel für eine optimale robots.txt für WordPress

Diese robots.txt-Datei eignet sich ideal als Standard für alle WordPress-Websites, da sie die wichtigsten Sperren und Zugriffsrechte für ein WordPress-CMS enthält. Eine gut optimierte seo robots.txt-Datei sieht folgendermaßen aussehen:

Anzeige

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /*wp-login.php*
Disallow: /readme.html
Disallow: /license.txt
Disallow: /wp-register.php

Sitemap: https://www.example.com/sitemap.xml

Erklärung der Befehle:

• User-agent:
* – Gilt für alle Suchmaschinen.
• Disallow:
/wp-admin/ – Verhindert das Crawlen des WordPress-Adminbereichs.
• Disallow:
/wp-includes/ – Verhindert den Zugriff auf WordPress-Systemdateien.
• Disallow:
/readme.html – Verhindert, dass Suchmaschinen die WordPress-Versionsdatei indexieren.
• Disallow:
/?s= – Verhindert die Indexierung interner Suchergebnisse.
• Disallow:
/trackback/ – Blockiert unnötige Trackback-Seiten.
• Disallow:
/xmlrpc.php – Sperrt den Zugriff auf die XML-RPC-Schnittstelle, die oft für Angriffe missbraucht wird.
• Allow:
/wp-admin/admin-ajax.php – Erlaubt das Crawlen von AJAX-Funktionen, die für einige Themes/Plugins notwendig sind.
• Sitemap:
https://www.deinewebsite.de/sitemap.xml – Verweist auf die XML-Sitemap, um das Indexieren wichtiger Seiten zu erleichtern.

robots.txt Feintuning für WordPress: Welche Seiten sollten Suchmaschinen nicht indexieren?

Anzeige

Es ist zwar kein Muss, aber für eine gezielte Suchmaschinenoptimierung (SEO) der robots.txt ist es durhaus sinnvoll, weitere WordPress-Verzeichnisse in der robots.txt zu sperren. Dieses sogenannte Feintuning sorgt dafür, dass nur die wichtigsten Seiten – wie Startseite, Leistungsseiten oder relevante Blogbeiträge – bei Google indexiert werden.

So wird verhindert, dass weniger relevante Seiten wie Kategorieseiten, Tag-Seiten oder Archivseiten mit den Hauptseiten um Rankings konkurrieren („Keyword-Kannibalisierung“). Ein sauber gesteuertes Crawling spart außerdem wertvolles Crawl-Budget und verbessert die SEO-Performance der gesamten Website.

Disallow: /tag/                          # Verhindert die Indexierung der Schlagworte
Disallow: /category/                     # Verhindert die Indexierung von Kategorien
Disallow: /archive/                      # Verhindert die Indexierung des Archivs

Allow und Disallow Befehle in der Robots.txt

Hier ist eine Liste aller möglichen Allow– und Disallow-Befehle für die robots.txt, die du in deine Robots.txt aufnehmen kannst.

1. Disallow-Befehle (Verbieten von Zugriffen)

Diese Befehle blockieren den Zugriff auf bestimmte Verzeichnisse, Dateien oder URL-Muster.

Anzeige

Allgemeine Disallow-Regeln

Befehl	Beschreibung
Disallow: /	Blockiert die gesamte Website (Vorsicht: keine Seite wird indexiert!).
Disallow: /admin/	Sperrt das gesamte „admin“-Verzeichnis.
Disallow: /login/	Verhindert den Zugriff auf die Login-Seite.
Disallow: /private/	Blockiert das Verzeichnis „private“.
Disallow: /tmp/	Verhindert den Zugriff auf temporäre Dateien.
Disallow: /cgi-bin/	Sperrt das „cgi-bin“-Verzeichnis (meist für Skripte).
Disallow: /config.php	Blockiert eine spezifische Datei.
Disallow: /*.pdf$	Sperrt alle PDFs auf der Website.
Disallow: /*?*	Blockiert alle URLs mit Parametern (z. B. ?id=123).

Spezifische Disallow-Regeln für WordPress

Befehl	Beschreibung
Disallow: /wp-admin/	Sperrt den WordPress-Adminbereich.
Disallow: /wp-includes/	Verhindert den Zugriff auf WP-Systemdateien.
Disallow: /wp-content/plugins/	Blockiert Plugins (nicht empfohlen für SEO).
Disallow: /wp-content/themes/	Sperrt Themes (kann für SEO relevant sein).
Disallow: /wp-json/	Blockiert die WordPress REST API.
Disallow: /feed/	Verhindert das Crawlen von Feeds. (veraltet)
Disallow: /trackback/	Sperrt Trackbacks (veraltet).
Disallow: /xmlrpc.php	Blockiert XML-RPC-Anfragen (Schutz vor Spam).

2. Allow-Befehle (Zugriff erlauben)

Diese Befehle erlauben explizit den Zugriff, auch wenn übergeordnete Disallow-Regeln existieren.

Anzeige

Allgemeine Allow-Regeln

Befehl	Beschreibung
Allow: /	Erlaubt den vollständigen Zugriff auf die Website.
Allow: /public/	Gestattet den Zugriff auf das Verzeichnis „public“.
Allow: /sitemap.xml	Stellt sicher, dass Suchmaschinen die Sitemap crawlen.
Allow: /*.jpg$	Erlaubt das Crawlen aller JPG-Dateien.
Allow: /*?p=*	Gestattet den Zugriff auf bestimmte URL-Parameter.

Spezifische Allow-Regeln für WordPress

Befehl	Beschreibung
Allow: /wp-content/uploads/	Erlaubt Suchmaschinen, Bilder und Medien zu indexieren.
Allow: /wp-admin/admin-ajax.php	Wichtig für einige Plugins, um Funktionen zu erhalten.
Allow: /wp-content/cache/	Gestattet den Zugriff auf gecachte Inhalte.

3. Kombination von Allow & Disallow

Manchmal brauchst du eine Kombination aus beiden Befehlen, um gezielt Inhalte freizugeben.

Beispiel: Admin sperren, aber AJAX erlauben

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Anzeige

Beispiel: Alles sperren außer Bilder

User-agent: *
Disallow: /
Allow: /*.jpg$
Allow: /*.png$
Allow: /*.gif$

Beispiel: Bestimmte Bereiche blockieren, Sitemap zulassen

User-agent: *
Disallow: /private/
Disallow: /tmp/
Allow: /sitemap.xml

Best Practices für die robots.txt-Datei in WordPress

Hier einige bewährte Methoden zur seo Optimierung der robots.txt:

1. Teste die Datei mit Google Search Console – Nutze den robots.txt-Tester, um zu prüfen, ob Suchmaschinen die Datei korrekt interpretieren.
2. Vermeide zu restriktive Sperren – Blockiere keine wichtigen Verzeichnisse wie /wp-content/uploads/, da hier Bilder gespeichert werden, die für SEO wichtig sind.
3. Füge immer die Sitemap-URL hinzu – Dies erleichtert es Suchmaschinen, alle relevanten Seiten zu indexieren.
4. Prüfe die Datei nach Plugin-Updates – Manche Plugins könnten neue Crawling-Anforderungen haben.
5. Erstelle Backups vor Änderungen – Eine fehlerhafte robots.txt kann dazu führen, dass deine gesamte Website aus den Suchergebnissen verschwindet.

Anzeige

Fazit und die wichtigste Erkenntnis zur robots.txt für WordPress

Die wichtigste Erkenntnis zur robots.txt für WordPress lautet: Weniger ist mehr! Viele Website-Betreiber neigen dazu, ihre robots.txt-Datei mit zahlreichen Regeln zu überladen, was dazu führen kann, dass wichtige Seiten oder Verzeichnisse versehentlich aus den Suchmaschinen ausgeschlossen werden. Das kann negative Auswirkungen auf die Sichtbarkeit und das Ranking der Website haben.

In den letzten Jahren hat sich zunehmend die Tendenz gezeigt, die robots.txt-Befehle auf das Nötigste zu beschränken. WordPress, als eines der beliebtesten Content-Management-Systeme, bringt eine Vielzahl von Verzeichnissen und Dateien mit, von denen nicht alle für das Crawling durch Suchmaschinen relevant sind. Es ist daher wichtig, gezielt zu steuern, welche Inhalte für Suchmaschinen zugänglich sind und welche nicht.

Eine zu restriktive robots.txt kann dazu führen, dass selbst wichtige Seiten wie Produktkategorien, Blogbeiträge oder Medieninhalte blockiert werden, was zu einer schlechteren Indexierung führt. Daher ist es ratsam, nur die Verzeichnisse oder Dateien zu sperren, die wirklich nicht indexiert werden sollen (z. B. „/wp-admin/“ oder „/wp-login.php“).

Die seo robots.txt sollte also nicht als Allzweckwaffe zur Blockierung von Inhalten genutzt werden, sondern vielmehr als gezieltes Werkzeug, um die Indexierung zu steuern und gleichzeitig sicherzustellen, dass Suchmaschinen auf alle relevanten Inhalte zugreifen können. Ein gut durchdachter Einsatz der seo robots.txt trägt zur Optimierung der SEO-Performance bei und verhindert, dass wichtige Seiten ungewollt blockiert werden.

Anzeige

---