Seite 2 von 2

Re: Mitglieder: Google [Bot]

BeitragVerfasst: 18. Jan 2014 22:05
von slacc">slacc
gibt aber genug "bösartige" bots die sich nicht an eine an solche Verbote halten... alles was ein normaler User sieht, können die auch sehen - komplett aussperren kann man die nicht.

Re: Mitglieder: Google [Bot]

BeitragVerfasst: 18. Jan 2014 22:31
von bembel
Besonders geil finde ich den Majestic-12 Bot - des Namens wegen. Soweit ich weiss, ist er aber harmlos.

Re: Mitglieder: Google [Bot]

BeitragVerfasst: 18. Jan 2014 22:50
von Schlosser
slacc hat geschrieben:gibt aber genug "bösartige" bots die sich nicht an eine an solche Verbote halten... alles was ein normaler User sieht, können die auch sehen - komplett aussperren kann man die nicht.


Es gibt wenige Suchmaschinen, die diesen Befehl für die "Indizierung" ignorieren:
User-agent: *
Disallow: /

Die Suchmaschinen Bots können nicht alles erfassen, was wir User sehen.
Beispiel:
- Forum liegt im geschützte Ordner mit einem .htaccess Zugang
- Forum liegt in einem weiteren Unterordner, so daß die Suchamschinen Bots keinen Verweis von der Hauptseite auf das Unterverzichnis haben. (nur mit Umwegen eine Eintragung bei den Suchmaschinen möglich)

In diesem o. g. Beispielen sehen wir User die Forenseite bzw. Webseite, da die Suchmaschine weder das Zugangspaßwort für den .htaccess und/oder nicht den genauen Pfad (ohne Nachhelfen) kennt, ist der Suchmaschinen Bot ausgesperrt.