Seiten nicht von Suchmaschinen indizieren lassen mit Robots.txt

Ab und zu kann es notwendig sein, bestimmte Seiten der Website oder Blogs nicht von den Suchmaschinen indizieren zu lassen und die Suchmaschinen auszusperren. Dies ist per robots.txt möglich, in der man Anweisungen für die Suchmaschinen hinterlassen kann. Die Datei Robots.txt ist eine Datei, welche man (als TXT-Datei) in dem Rootverzeichnis der Website abgelegt wird. Diese Datei wird von den Suchmaschinen vor Indizierung eingelesen und befolgt.

Üblicherweise sieht eine robots.txt folgendermaßen aus:

User-agent: *
Disallow: /impressum/
Disallow: /cgi-bin/
Disallow: /test/index.php

Diese robots.txt enhält die Anweisung für die Suchmaschinen die aufgeführten Verzeichnisse “Impressum”, “Cgi-Bin” und die einzelne Datei “index.php” im Verzeichnis “Test” nicht zu indizieren.

Will man aber die ganze Website nicht von den Suchmaschinen indizieren lassen so sieht die Anweisung für dei Suchmaschinen folgendermaßen aus:

User-agent: *
Disallow: /

Es gibt aber auch komfortable Robots.txt-Generatoren, wie z.B. searchcode.de/robotstxt.php, die weniger versierten Internet-Nutzern die Erstellung einer Robots.txt Datei ermöglichen.

[Tags] robots.txt, Suchmaschinen, HowTo [/Tags]

Popularity: 10% [?]