Crawler und Robots

0 | 1 Kommentar | 2241 Aufrufe

Sie können diese Wikiseite nach der Anmeldung auf Webmasterpro bearbeiten. Helfen Sie mit und verbessern Sie "Crawler und Robots" mit Ihrem Wissen!

Anzeige Hier werben

Ein Crawler, Spider oder Robot (kurz Bot) ist ein Programm, das automatisch Webseiten durchsucht und Informationen sammelt. Spider werden vor allem von Suchmaschinen benutzt um ihre Suchdatenbanken zu füllen. Sie werden aber auch von Spammern benutzt um Emailadressen zu sammenln.

Große Suchmaschinen

Googlebot

Der Googlebot ist der Crawler für den Suchindex von Google.

Text

1
2
3

Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Image/1.0

Informationen über den Bot bei Google.

Yahoo! Slurp

Text

1
2
3

Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

Informationen über den Bot bei Yahoo.

MSNBot

Der MSNBot ist der Crawler für den Suchindex der Live Search (MSN Search) Suchmaschine von Microsoft

User-Agent String

Text

1 2	msnbot/1.0 (+http://search.msn.com/msnbot.htm) msnbot/0.3 ( http://search.msn.com/msnbot.htm)

Informationen über den Bot bei MSNBot.
Der undercover MSNBot benutzt überverhältnismäßig oft auch einen anderen UA-String. Dieser ähnelt folgendem und verfälscht so Statistiken mit bis zu 2% mehr Traffic.

Text

1	mozilla/4.0 (compatible; msie 7.0; windows nt 5.2; .net clr 1.1.4322)

Andere Bots

Kleinere Crawler

Google Adsense Crawler

Text

1	Mediapartners-Google/2.1

HTTrack Open-Source Crawler

Text

1 2	HTTrack/3.0x HTTrack Website Copier/3.0x (offline browser; web mirror utility)

Wikiseite bearbeiten

Diese Seite kann von jedem registrierten Benutzer bearbeitet werden. Bisher haben 4 Personen an der Seite "Crawler und Robots" mitgewirkt.

Sie haben einen Fehler entdeckt oder möchten etwas ergänzen? Dann können Sie nach der Anmeldung "Crawler und Robots" hier bearbeiten.

Mitarbeiter

Thomas H
arbeitet seit längerem als Webdesigner und vor allem -entwickler. Er ist Webmaster von Webmasterpro.de und leitet den Flashcounter-Service.
Benutzer gelöscht
hat keine Beschreibung angegeben. Eine Beschreibung kann man unter dem Punkt "Profil bearbeiten" im Kontrollzentrum eintragen.
Christian Schmidt
Ich habe kurz vor der Jahrtausendwende mit der Erstellung von Webseiten angefangen. Seit dem erstelle ich vor allem für mich selbst diverse Webseiten wie dem Energiepreise Verbraucherportal aber auch Online Tools wie KeywordMonitor oder ServerDNA. Zur Zeit arbeite ich ebenfalls für die Agentur construktiv (den Machern von Mister Wong) in Bremen.
David Danier
David Danier arbeitet seit mehr als neun Jahren im Bereich Web Programmierung und ist unter anderem Geschäftsführer der Webagentur Team23 sowie Webmasterpro.de.