robots.txt erstellen
Erstellt eine robots.txt-Datei mit Regeln für Suchmaschinen-Crawler und wichtige Bots.
Vorlage
Verwende *, um die Regeln auf alle Crawler anzuwenden.
Ein Pfad pro Zeile, zum Beispiel /public/.
Ein Pfad pro Zeile, zum Beispiel /admin/.
Eine absolute URL pro Zeile.
Optional, in Sekunden. Nicht jede Suchmaschine unterstützt dies.
Optionale Anweisung, die hauptsächlich von einigen Suchmaschinen erkannt wird.