robots.txt
Eine kleine Textdatei im Root-Verzeichnis Ihrer Webseite, die Suchmaschinen sagt, welche Bereiche sie crawlen dürfen und welche nicht.
Die robots.txt ist eine kleine Textdatei im Root-Verzeichnis Ihrer Webseite, die Suchmaschinen-Crawlern Anweisungen gibt welche Bereiche sie indexieren dürfen und welche nicht.
Wo die Datei liegt
Immer unter der Root-URL, also bytebrise.com/robots.txt. Nicht in Unterordnern, nicht in www.bytebrise.com/de/robots.txt. Jeder Host hat seine eigene robots.txt. Wenn die Datei fehlt, gehen Crawler davon aus dass alles erlaubt ist.
Was die Syntax kann
User-agent bestimmt für welchen Crawler die folgenden Regeln gelten. Stern als Wildcard für alle. Disallow blockiert bestimmte Pfade. Allow erlaubt explizit Unterbereiche eines geblockten Pfades. Sitemap verweist auf die XML-Sitemap der Seite. Crawl-delay limitiert wie schnell der Crawler nacheinander zugreift, wird von Google ignoriert aber von Bing respektiert.
Typische Inhalte
Sperren von Admin-Bereichen wie /admin/, /backend/, /wp-admin/. Sperren von Lead-Magnet-PDFs die nur nach Email-Eingabe geliefert werden sollen. Sperren von Such-Ergebnis-Seiten oder Filter-Kombinationen die Duplicate Content erzeugen würden. Pflichteintrag der Sitemap als Sitemap-Direktive für jede aktive Sitemap-Datei.
Was robots.txt nicht kann
Sie kann eine Seite nicht aus dem Google-Index entfernen. Wenn eine bereits indexierte Seite per Disallow geblockt wird, bleibt sie im Index, nur ohne Snippet. Zur Deindexierung gehört noindex-Meta im HTML oder X-Robots-Tag im HTTP-Header. Sie kann auch nicht private Daten schützen. Wer Ihre robots.txt liest, sieht direkt welche URLs interessant sind und kann sie manuell besuchen.
Verbundene Begriffe
Webseite konkret verbessern?
Wir analysieren Ihre Seite und sagen Ihnen ehrlich was sich lohnt zu fixen. Erstgespräch kostenfrei.
Kostenloses Erstgespräch