Re: Suchmaschinen blocken und robots.txt

Datumsansicht Baumansicht Betreffansicht Attachement-Sicht

From: Christian Weisgerber (naddy_at_mips.rhein-neckar.de)
Date: 27. Feb 2000


Raphael Becker <beckerra_at_rumms.uni-mannheim.de> wrote:

> Werden diese einmal katalogisierten URLs nicht nach mehrfacher
> Nichtverfügbarkeit aus dem Katalog gestrichen?

Anzunehmen. Aber du hast gesagt, dass die Zugriffe von Suchmaschinen
kommen, nicht von Benutzern mit einer Suchmaschine als Referer.
Wenn irgendwo ein Link gesetzt ist, dann geht die Spider der
Suchmaschine dem nach. Nur weil ein URL einmal ungültig war, heißt
es ja nicht, dass er das bleibt.

Hmm. 450..600 pro Tag?

> Kein "normaler" Surfer würde "blind" versuchen wollen, auf
> irgendwelche nicht mehr vorhandenen und nicht mehr verlinkten
> Seiten zuzugreifen.

Da Links im WWW-Hypertext nicht bidirektional sind, ist nicht direkt
feststellbar, ob ein Link auf eine Seite zeigt.

Ich kriege bis heute noch vereinzelte Zugriffsversuche auf von mir
mittlerweile wohl schon vor Jahren entfernte Seiten, weil andernorts
Links darauf gesetzt sind, deren Autor verschollen ist. Die
Suchmaschinen folgen diesen Links natürlich auch. <Blättert im Log>
Hier sehe ich z.B. gerade, wie Scooter (Altavista) diese Seiten
abrufen wollte. Und etwas später die Konkurrenz von FAST.

-- 
Christian "naddy" Weisgerber                  naddy_at_mips.rhein-neckar.de


Datumsansicht Baumansicht Betreffansicht Attachement-Sicht

Dieses Archiv wurde generiert von hypermail 2.1.2 : 11. Mar 2002 CET