Zum Hauptinhalt springen
Bethemesh
Web & SEO

robots.txt erstellen

Erstellt eine robots.txt-Datei mit Regeln für Suchmaschinen-Crawler und wichtige Bots.

  • Zwischenablage

Dieses Widget einbetten

Passe die Darstellung an, prüfe die Vorschau und kopiere anschließend den Code.

Vorschau

Art des Einbettungscodes

Zu kopierender Code

Responsive und automatisch von Bethemesh in der Größe angepasst.

Vorlage

Verwende *, um die Regeln auf alle Crawler anzuwenden.

Ein Pfad pro Zeile, zum Beispiel /public/.

Ein Pfad pro Zeile, zum Beispiel /admin/.

Eine absolute URL pro Zeile.

Optional, in Sekunden. Nicht jede Suchmaschine unterstützt dies.

Optionale Anweisung, die hauptsächlich von einigen Suchmaschinen erkannt wird.

Erstellte Datei

War dieses Werkzeug hilfreich?

Wie funktioniert dieses Tool?

Dieser Generator schreibt eine robots.txt-Datei aus wenigen Feldern: Ziel-Crawler, erlaubte und gesperrte Pfade, Crawl-Verzögerung, Sitemaps und bevorzugter Host. Er bietet fertige Vorlagen, normalisiert Pfade und warnt, bevor er eine Regel erzeugt, die die ganze Website sperren würde.

Die Datei beginnt mit User-agent, gefolgt von den Allow- und danach den Disallow-Zeilen. Ein Pfad ohne führenden Schrägstrich erhält einen (admin/ wird zu /admin/), Duplikate werden entfernt.

Die Crawl-Verzögerung wird nur geschrieben, wenn sie null oder positiv ist; Sitemap-URLs müssen absolute http- oder https-Adressen sein, sonst erscheint eine Warnung.

Der bevorzugte Host wird auf seinen Domainnamen gekürzt (aus https://www.example.com/ wird www.example.com) und in einer Host-Zeile ergänzt.

Die Vorlagen füllen die Felder aus: Gesamte Website erlauben (Allow: /), Gesamte Website blockieren (Disallow: /) oder Private Bereiche sperren (/admin/, /account/, /api/private/).

So verwenden Sie dieses Tool

  1. Vorlage wählen

    Oder mit Benutzerdefiniert beginnen und alles selbst eingeben.

  2. Ziel-Crawler angeben

    * für alle Crawler oder ein Name wie Googlebot oder GPTBot.

  3. Pfade auflisten

    Ein Pfad pro Zeile unter Erlaubte Pfade und Gesperrte Pfade, dann die Sitemap-URLs ergänzen.

  4. Erstellen und veröffentlichen

    Kopiere die erstellte Datei und lege sie im Stammverzeichnis der Domain ab: https://example.com/robots.txt.

Anwendungsfälle

Neue Website starten

Eine minimale robots.txt veröffentlichen, die die Sitemap angibt und alles crawlen lässt.

Unwichtige Bereiche ausschließen

Verhindern, dass Crawler Zeit im Adminbereich, im Kundenkonto oder in internen Suchergebnissen verbringen.

KI-Crawler steuern

Einen Block für einen bestimmten Crawler vorbereiten, etwa um das Crawling durch einen KI-Trainingsbot abzulehnen.

Beispiele

Private Bereiche gesperrt, mit einer Ausnahme

Allow öffnet die API-Dokumentation innerhalb eines gesperrten Verzeichnisses wieder: Bei Google gewinnt die genauere Regel. Die Sitemap steht am Ende der Datei.

Eingabe

Vorlage: Private Bereiche sperren
Ziel-Crawler: *
Erlaubte Pfade: /api/private/docs/
Gesperrte Pfade: /admin/, /account/, /api/private/
Sitemap-URLs: https://example.com/sitemap.xml

Ergebnis

Erstellte Datei:
User-agent: *
Allow: /api/private/docs/
Disallow: /admin/
Disallow: /account/
Disallow: /api/private/

Sitemap: https://example.com/sitemap.xml

KI-Crawler sperren

Nur GPTBot erhält Disallow: /; das Tool warnt, dass dieser Crawler keine Seite crawlen wird. Andere Crawler betrifft dieser Block nicht.

Eingabe

Ziel-Crawler: GPTBot
Gesperrte Pfade: /

Ergebnis

Warnung: Disallow: / weist die betroffenen Crawler an, keine Seite zu crawlen.
User-agent: GPTBot
Disallow: /

Tipps und bewährte Vorgehensweisen

  • robots.txt sperrt das Crawling, nicht die Indexierung: Eine gesperrte Seite kann bei Google erscheinen, wenn Links auf sie zeigen. Um sie auszuschließen, nutze noindex und lass sie crawlbar.
  • Die Datei ist kein Schutz: Sie ist öffentlich, und nur gutwillige Crawler halten sich daran. Schütze sensible Bereiche per Anmeldung.
  • Google ignoriert Crawl-delay, Bing und einige andere Suchmaschinen berücksichtigen es. Host wird von den großen Suchmaschinen nicht mehr genutzt.
  • Sperre keine CSS- und JavaScript-Dateien: Google braucht sie, um die Seite so darzustellen, wie Nutzer sie sehen.

Quellen und Referenzen

Häufig gestellte Fragen

Wo muss die robots.txt liegen?

Im Stammverzeichnis des Hosts, genau unter /robots.txt. Jede Subdomain und jedes Protokoll hat eine eigene: blog.example.com/robots.txt gilt nicht für example.com.

Was passiert, wenn Allow und Disallow sich widersprechen?

Nach RFC 9309, an die sich Google hält, gewinnt die Regel mit dem längsten Pfad; bei Gleichstand gewinnt Allow. So kannst du einen Unterordner in einem gesperrten Verzeichnis wieder öffnen.

Wie spreche ich mehrere Crawler an?

Das Tool erzeugt einen Block pro Crawler. Erstelle für jeden Crawler einen Block und füge sie in derselben Datei zusammen, getrennt durch eine Leerzeile.

Sind * und $ in Pfaden erlaubt?

Ja, das Tool übernimmt sie unverändert. Google versteht sie: /*.pdf$ sperrt alle URLs, die auf .pdf enden. Prüfe, ob die übrigen Suchmaschinen, die dich interessieren, sie ebenfalls unterstützen.

Wird die Datei an einen Server gesendet?

Nein. Sie entsteht in deinem Browser; das Hochladen auf deine Website übernimmst du selbst.

Verwandte Werkzeuge

Mit diesen Werkzeugen weitermachen

Werkzeuge, die diesem ähnlich sind oder es ergänzen.

Ähnliche Werkzeuge

XML-Sitemap-Vergleich

Zwei Sitemaps oder URL-Listen vergleichen und hinzugefügte sowie entfernte URLs erkennen.

Web & SEODieses Werkzeug verwenden

Meta-Tags erstellen

Erstellt wichtige HTML-Meta-Tags für SEO und Social Sharing aus wenigen Angaben.

Web & SEOEmpfohlenDieses Werkzeug verwenden

Auch interessant