MSNBot "undercover" verfälscht Statistiken

von Thomas H | 0 | 4 Kommentare | 3605 Aufrufe

Anzeige Hier werben

Da sich der MSNBot, der Crawler für die Microsofts Suchmaschine Live Search, sehr oft nicht in seinem User-Agent-String korrekt als bot identifiziert, verursacht er verdeckt auf vielen Seiten hohen Traffic und verzerrt dadurch Zugriffsstatistiken und Browsermarktanteile.

Der MSNBot identifiziert sich meist mit ähnlichen User-Agent-String wie folgendem:

User-Agent-String des Undercover MSNBot  
Text
1
mozilla/4.0 (compatible; msie 7.0; windows nt 5.2; .net clr 1.1.4322)

Dabei geht nicht hervor, dass es sich um einen Bot handelt. Die einzige Möglichkeit um den Bot zu sperren ist, den angegebenen IP-Bereich zu sperren.

Crawler von anderen Suchmaschinen zeigen sich zwar auch manchmal undercover und identifizieren sich als normaler Browser, um herauszufinden ob ihnen "gefälschte" suchmaschinenoptmierte Seiten vorgeworfen werden. Jedoch tritt dies bei weitem nicht so oft auf wie beim MSNBot.

Der MSNBot zeigt sich jedoch mehr als 10 mal häufiger mit falscher Identität auf Webseiten als der GoogleBot und sogar 100 mal häufiger als der Yahoo bot.

Im Schnitt macht der Bot so fast 2% des gesamten Website-Traffics aus, auf manchen Webseiten sogar weitaus mehr.

Der MSNBot ist mir bei arbeiten am FlashCounter aufgefallen. Viele Benutzer beschwerten sich über unproportional viele Zugriffe von bestimmten IP-Bereichen (bei manchen Seiten namen diese oft die mehrzahl der Zugriffe ein). Ebenfalls viel der starke Marktanteil des Betriebssystems Windows Server 2003 auf.

Über den Autor: Thomas H
arbeitet seit längerem als Webdesigner und vor allem -entwickler. Er ist Webmaster von Webmasterpro.de und leitet den Flashcounter-Service.
Profilseite betrachten


Kommentare: MSNBot "undercover" verfälscht Statistiken

Neuen Kommentar schreiben
das ist...
Beantworten

ja wiedermal typisch....

Richard Unterberg am 21.08.2008 um 17:07
Re: das ist...
Beantworten

dito. mir kam grad ein kräftiges "I-AAAAAAAAAAAAAAA" in den sinn :D

meggs am 22.08.2008 um 00:02
Re: das ist...
Beantworten

warum erinnert mich das sehr stark an drawn together?

Richard Unterberg am 22.08.2008 um 06:03
Re: das ist...
Beantworten

:-D

omg - müsste ich sagen wenn ich gläubig wäre - meine Fresse was soll denen das bringen? Oder hat Winzigweich mal wieder vergessen was der unterschied zwischen den beiden bots ist wenn sie diese loschicken. Würde mich ja mal interessieren ob der "undercover Bot" von Livesearch häufiger scannt als der sich zu erkennen gebende Bot - würde meine These dann ja nur bestätigen *fg

Gruß

Dominik Habichtsberg am 14.02.2009 um 16:39