Neuer Crawler bei Yahoo: Slurp 3.0

von David Danier | 0 | 1702 Aufrufe

Anzeige Hier werben

Wie Yahoo offiziell bekannt gibt wurde der verwendete Crawler auf eine neue Version umgestellt. Slurp 3.0 soll sich ähnlich wie der Vorgänger verhalten, was genau die Vorteile sind wurde bisher aber nicht bekanntgegeben. Im Vorfeld gab es allerdings einige Unregelmäßigkeiten. So berichteten bereits im März einige Webseitenbetreiber, dass der Crawler ihre Seite mehrere hundertmal am Tag aufgerufen hatte.

Wichtig für Webmaster ist, dass sich Slurp 3.0 auch als solcher ausgibt und robots.txt-Einträge deswegen möglicherweise aktualisiert werden müssen. Wer versucht den Crawler anhand der IP-Adresse zu erkennen wird damit in Zukunft auch nicht mehr 100%tig erfolgreich sein, Yahoo selbst rät zu einer Reverse-DNS-Abfrage.

Über den Autor: David Danier
David Danier arbeitet seit mehr als neun Jahren im Bereich Web Programmierung und ist unter anderem Geschäftsführer der Webagentur Team23 sowie Webmasterpro.de.
Profilseite betrachten