Re: Suchmaschinen blocken und robots.txt

Datumsansicht Baumansicht Betreffansicht Attachement-Sicht

From: Raphael Becker (beckerra_at_rumms.uni-mannheim.de)
Date: 28. Feb 2000


[Suchmaschinen, die massenhaft auf tote Links zugreifen]
> > Hmm. 450..600 pro Tag?
>
> *nochmalnachgugg*
> Hmm, ich weiß nicht, wie ich auf diese Zahl gekommen bin, war ein etwa
> 4 Zeilen langer bash-Befehl mit vielen Greps und einem wc hintendran.

So, ich hab den Befehl rekonstruiert ;)

Eine ausführliche Zusammenfassung (für jeden Tag ab 1.1.2000) hab ich
mal unter
http://rhb.swm.uni-mannheim.de/~beckerra/403+404.log.txt hinterlegt.

Wie man leicht sehen kann, sind die Werte stark schwankend, schubweise
bis 400/Tag, vereinzelt sogar >750/Tag, an anderen Tagen unter 50,
vereinzelt 0.

Es ist ja nicht die "Masse", die da übertragen wird (jedesmal ca 300
Bytes in Form einer "404 File not found"-Nachricht,
Apache-Standardseite), aber auf Dauer kann es schon ganz schön nerven,
wenn im 3-Minutentakt (Tagesdurchschnitt) die Logfiles unsinnig
anwachsen.

Gruß
Raphael Becker

PS: Vielleicht sollte ich die 404-NAchrichten an
Postmaster+Abuse+Webmaster+root@$ip (bzw deren MX) verschicken,
vielleicht hört das dann endlich mal auf ;)


Datumsansicht Baumansicht Betreffansicht Attachement-Sicht

Dieses Archiv wurde generiert von hypermail 2.1.2 : 11. Mar 2002 CET