Inhalte bei Google entfernen
24.05.2008
Typisches Problem: Man hat eine Webseite und möchte nicht, dass diese erfasst wird bzw. sie soll aus dem Google Suchindex wieder entfernt werden, nachdem sie erfasst wurde. Hinsichtlich Google gibt es da mehrere Möglichkeiten die ich hier kurz vorstelle.
Aussperren
Am einfachsten ist die Prävention: Eine robots.txt anlegen mit folgenden Inhalt:
User-Agent: Googlebot Disallow /
Der Googlebot, der die einzelnen Bilder auf der Homepage indiziert hat dabei eine eigene Kennung. Um ihn auszusperren, einfach Folgendes nutzen:
User-Agent: Googlebot-Image Disallow /
Um einzelne Seiten zu sperren kann man per Meta-Tag eine entsprechende Einstellung treffen:
<META NAME=”Googlebot” CONTENT=”NOINDEX,NOFOLLOW”>
Bei Google wird immer ein Auszug der Seite in den Ergebnissen angezeigt – um das zu verhindern, kann folgender Meta-Tag gesetzt werden:
<META NAME=”Googlebot” CONTENT=”NOSNIPPET”>
Um das Cachen der Seiten zu verhindern, ist ebenfalls ein Meta-Tag nötig:
<META NAME=”Googlebot” CONTENT=”NOARCHIVE”>
Sofort entfernen
Es ist sogar möglich, eine Seite sofort entfernen zu lassen. Hierzu bietet Google eine spezielle Adresse an, http://services.google.com:8882/urlconsole/controller?cmd=reload&lastcmd=login. Dort einfach registrieren und dann der Anleitung folgen.
AH
Sehr interessanter Artikel, aber leider bezieht er sich nur auf Google. Ich denke, dass der Großteil der Leute, die nicht von Google gelistet werden wollen, auch nicht auf anderen Suchmaschinen auftauchen möchten. Es gibt z.B. immer noch yahoo, welches auch noch eine beträchtliche Anzahl von Menschen erreicht.
Um in der robots.txt alle Suchmaschinenspider abzuweisen, genügt es, anstelle von "Googlebot" lediglich ein * zu setzen:
User-Agent: *
Bei dem META-Tag wird "Googlebot" durch den allgemein gültigen Begriff "robots" ersetzt. Dies würde dann so aussehen:
Das manuelle Entfernen von Webseiten ist -- soweit ich weiß -- ein exklusiver Service von Google.
AH
Leider ist das META-Tag-Beispiel aus aus meinem Kommentar verschwunden, bitte ändern Sie meinen Kommentar insoweit ab, dass das Beispiel wieder sichtbar wird:
GwenDragon
Leider haben sich im Artikel ein paar Fehler eingeschlichen.
Die Beispiele für die Einträge in der robots.txt sind falsch. Da fehlt ein Zeilenumbruch!
Also anstatt einzeilig:
User-Agent: Googlebot Disallow /
muss es heißen:
User-Agent: Googlebot
Disallow /
Sowie bei:
User-Agent: Googlebot-Image Disallow /
muss es heißen:
User-Agent: Googlebot-Image
Disallow /
Mit freundlichem Gruß
einer Webzauberin
Danke für den Hinweis - wird beim kopieren meines Artikels verloren gegangen sein.