Ratgeber Es konnte keine robots.txt gefunden werden.

Die robots.txt ist eine Datei, die Suchmaschinen-Crawlern Anweisungen gibt, wie sie Ihre Website durchsuchen sollen. Wenn diese Datei fehlt, wissen Suchmaschinen nicht, welche Bereiche Ihrer Website durchsucht oder ausgeschlossen werden sollen. Obwohl die Datei optional ist, wird sie für eine optimierte Indexierung und Kontrolle über das Crawling empfohlen.

• Crawling-Optimierung: Ohne eine robots.txt könnten Suchmaschinen unnötige oder sensible Bereiche Ihrer Website crawlen, was Zeit und Ressourcen verschwendet.
• Privatsphäre: Bestimmte Inhalte, die nicht öffentlich sichtbar sein sollen (z. B. Admin-Bereiche), könnten ohne robots.txt indexiert werden.
• Technische Standards: Eine robots.txt ist ein Best-Practice-Element jeder gut gepflegten Website.

1. Prüfen, ob die Datei wirklich fehlt:
   • Geben Sie in Ihrem Browser https://www.ihre-domain.de/robots.txt ein.
   • Wenn eine Fehlermeldung wie "404 - Datei nicht gefunden" erscheint, fehlt die Datei.
2. Erstellen einer robots.txt:
   • Öffnen Sie einen einfachen Texteditor (z. B. Notepad, Visual Studio Code).
   • Erstellen Sie die Datei robots.txt mit folgendem Grundgerüst:

     User-agent: *
     Disallow:
     

3. Anweisungen für Suchmaschinen hinzufügen:
   • Verhindern Sie das Crawling sensibler Bereiche (z. B. Admin-Bereiche):

     User-agent: * 
     Disallow: /admin/ 
     Disallow: /private/
     

   • Fügen Sie die Sitemap hinzu, um Suchmaschinen zu unterstützen:

     Sitemap: https://www.ihre-domain.de/sitemap.xml

4. Speichern und Hochladen:
   • Speichern Sie die Datei als robots.txt.
   • Laden Sie die Datei in das Stammverzeichnis Ihrer Website (z. B. https://www.ihre-domain.de/).
5. Überprüfung:
   • Geben Sie erneut https://www.ihre-domain.de/robots.txt in den Browser ein, um sicherzustellen, dass die Datei korrekt geladen wird.

Beispiele & Best Practices

Beispiel einer gültigen robots.txt:

• Falscher Speicherort: Die Datei muss im Stammverzeichnis der Website liegen, nicht in einem Unterordner.
• Syntaxfehler: Halten Sie sich an das Robots.txt-Protokoll.
• Falsche Berechtigungen: Stellen Sie sicher, dass die Datei öffentlich zugänglich ist (HTTP-Status 200).

• Eine robots.txt-Datei darf keine Sonderzeichen oder Leerzeilen enthalten, die das Protokoll verletzen könnten.
• Die Datei sollte UTF-8-kodiert sein.
• Die URL zur robots.txt muss öffentlich zugänglich sein und lautet immer https://www.ihre-domain.de/robots.txt.

• Google Dokumentation: robots.txt
• Robots.txt Tester in der Google Search Console
• Best Practices für robots.txt