MSNBot "undercover" verfälscht Statistiken

von Thomas H | 0 | 3644 Aufrufe

Anzeige Hier werben

Da sich der MSNBot, der Crawler für die Microsofts Suchmaschine Live Search, sehr oft nicht in seinem User-Agent-String korrekt als bot identifiziert, verursacht er verdeckt auf vielen Seiten hohen Traffic und verzerrt dadurch Zugriffsstatistiken und Browsermarktanteile.

Der MSNBot identifiziert sich meist mit ähnlichen User-Agent-String wie folgendem:

User-Agent-String des Undercover MSNBot  
Text
1
mozilla/4.0 (compatible; msie 7.0; windows nt 5.2; .net clr 1.1.4322)

Dabei geht nicht hervor, dass es sich um einen Bot handelt. Die einzige Möglichkeit um den Bot zu sperren ist, den angegebenen IP-Bereich zu sperren.

Crawler von anderen Suchmaschinen zeigen sich zwar auch manchmal undercover und identifizieren sich als normaler Browser, um herauszufinden ob ihnen "gefälschte" suchmaschinenoptmierte Seiten vorgeworfen werden. Jedoch tritt dies bei weitem nicht so oft auf wie beim MSNBot.

Der MSNBot zeigt sich jedoch mehr als 10 mal häufiger mit falscher Identität auf Webseiten als der GoogleBot und sogar 100 mal häufiger als der Yahoo bot.

Im Schnitt macht der Bot so fast 2% des gesamten Website-Traffics aus, auf manchen Webseiten sogar weitaus mehr.

Der MSNBot ist mir bei arbeiten am FlashCounter aufgefallen. Viele Benutzer beschwerten sich über unproportional viele Zugriffe von bestimmten IP-Bereichen (bei manchen Seiten namen diese oft die mehrzahl der Zugriffe ein). Ebenfalls viel der starke Marktanteil des Betriebssystems Windows Server 2003 auf.

Über den Autor: Thomas H
arbeitet seit längerem als Webdesigner und vor allem -entwickler. Er ist Webmaster von Webmasterpro.de und leitet den Flashcounter-Service.
Profilseite betrachten