Das LinkBuilding Blog des Textlinkbrokers TextLinkAds (Partnerlink) hat einen interessanten Artikel geschrieben, wie man durch das Editeren der robots.txt-Datei auf dem Webserver die Relevanz des eigenen Blogs steigern kann. Bei diesem Ansatz werden die Bots und Crawler der Suchmaschinen wie Google, Msn und Yahoo der Zugang zu bestimmten Verzeichnissen und Link-Endungen verwehrt. Ein weiterer positiver Nebeneffekt ist, dass die Suchmaschinen diese Links nicht mehr als doppelten Inhalte (Duplicate Content) ansehen können.

Welche Endungen sollte man also aus den Ergebnissen der Suchmaschinen entfernen?

• Kommentarfeeds
• Trackbacks

Wie ich hier bereits die Funktionsweise der Robots.txt einmal grob umschrieben habe, müssen bestimmten Verzeichnisse für die Suchmaschinen gesperrt werden.

In den Kommentaren des Artikels gab ein Leser einen sehr guten Linktipp zu einer Beispieldatei einer Robots.txt-Datei für WordPress. Die dort angegebenen Einträge habe ich hier einmal ausgeführt:

# This rule means it applies to all user-agents
User-agent: *

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/

# Disallow all monthly archive pages
Disallow: /2006/0
Disallow: /2006/1
Disallow: /2007/0
Disallow: /2007/1

# The Googlebot is the main search bot for google
User-agent: Googlebot

# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# Disallow Google from parsing indididual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/

# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?

# Disallow all archived monthlies
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*

# The Googlebot-Image is the image bot for google
User-agent: Googlebot-Image

# Allow Everything
Allow: /*

# This is the ad bot for google
User-agent: Mediapartners-Google*

# Allow Everything
Allow: /*

Allerdings wird man nicht all diese Einträge für seine Robots.txt Datei benötigen. Ich habe für mein WordPress Blog erst einmal die folgenden Einträge übernommen:

User-agent: *
# Disallow Google from parsing indididual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/

# Disallow all archived monthlies
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*

Wichtig ist der Zusatz User-agent: * da hierdurch alle Suchmaschinen-Bots angesprochen werden.

Ob diese Methode erfolgreich sein kann und so mehr Leser durch die Suchmaschinen den Weg auf das Blog finden, dürfte eher schwer zu messen sein, der Autor des Artikels speicht aber von einer Steigerung des Traffics um “11.3%”. Obwohl ich gern einmal wissen würde, wie er diese Steigerung genau dieser Massnahme zuordnen konnte.

Aber aus eigener Erfahrung kann ich sagen, dass bei der Nutzung von Suchmaschinen ich schon sehr häufig auf die Feedlinks einzelner Artikel getroffen bin und ich dieses erst nach Öffnen des Feedreader entnervt feststellte. Man will ja nicht jeden Feed abonieren, den man gerade versehentlich öffnet.

Sofern dies jemand ausprobiert, wäre ich daran interessiert zu erfahren, ob signifikante Steigerungen des Suchmaschinen-Traffics verzeichnet werden konnte.

Um seine Website oder Blog in den aktuellen Suchmaschinen zu platzieren und möglichst immer auf dem neusten Stand zu halten, bietet es sich an, die Website mittels Ping oder Sitemap von den großen Suchmaschinen crawlen zu lassen. Hier ist dies für die Suchmaschinen Yahoo, MSN und Google einmal kurz angerissen.

• Yahoo
  Um bei Yahoo seine Website in den Index zu integrieren, ist die URL des Blogs oder der Website in kostenlos nutzbaren Formular einzutragen. Dies ist für die Yahoo Suchmaschine eine Aufforderung die entspechende Seite zu crawlen und zu analysieren. Um eine URL bei Yahoo einzureichen, ist ein Yahoo Konto erforderlich, dieses ist kostenlos.
  Unter http://search.yahoo.com/info/submit.html muss der Dienst “Submit Your Site for Free” angeklickt werden. Darauf hin muss sich per Yahoo Konto eingeloggt und entsprechende URL eingetragen und bestätigt werden.

• MSN
  Msn bieten unter http://beta.search.msn.com/docs/submit.aspx eine Möglichkeit eine URL einzureichen. Nachdem die URL und der dort angezeigte Captcha Code eingegeben und bestätigt wurde, sollte der MSN Bot die Website in den kommenden Stunden (oder auch Tagen) in den Index aufnehmen.

• Google
  Bei Google kann sogar eine Sitemap eingereicht werden, die einmalig eingereicht werden muss und anschließend nur noch aktualisiert werden muss. Google crawlt die Website oder Blog anschließend in regelmäßigen Abständen auf Neuerungen und Veränderungen. Die Sitemap kann nach kostenloser Erstellung eines Google Kontos unter: https://www.google.com/webmasters/sitemaps/login eingereicht werden. Unter gleicher URL lassen sich verschiedene Statistiken zur Sitemap und Website einsehen.

Wer eine XML Sitemap nicht selbst erstellen will (kann ?), oder kein Blogsoftware nutzt, die durch Integration eines Plugins die Erstellung einer Sitemap abnimmt, kann durch kostenlose Online-Tools sie erstellen lassen. www.xml-sitemaps.com ist ein Beispiel hierzu.

Ob die Websites nach Einreicher einer URL oder Sitemap schneller gecrawlt werden, und besser platziert werden, ist fraglich. Ich habe meine URL nie bei Yahoo oder MSN eingereicht und nutzt ausschließlich den Service von Google eine Sitemap einzureichen und diese aktuell zu halten und werde recht ordentlich im Index platziert.