Neuer Crawler bei Yahoo: Slurp 3.0
Anzeige Hier werben
Wie Yahoo offiziell bekannt gibt wurde der verwendete Crawler auf eine neue Version umgestellt. Slurp 3.0 soll sich ähnlich wie der Vorgänger verhalten, was genau die Vorteile sind wurde bisher aber nicht bekanntgegeben. Im Vorfeld gab es allerdings einige Unregelmäßigkeiten. So berichteten bereits im März einige Webseitenbetreiber, dass der Crawler ihre Seite mehrere hundertmal am Tag aufgerufen hatte.
Wichtig für Webmaster ist, dass sich Slurp 3.0 auch als solcher ausgibt und robots.txt-Einträge deswegen möglicherweise aktualisiert werden müssen. Wer versucht den Crawler anhand der IP-Adresse zu erkennen wird damit in Zukunft auch nicht mehr 100%tig erfolgreich sein, Yahoo selbst rät zu einer Reverse-DNS-Abfrage.
Über den Autor: David Danier
David Danier arbeitet seit mehr als neun Jahren im Bereich Web Programmierung und ist unter anderem Geschäftsführer der Webagentur Team23 sowie Webmasterpro.de.
Profilseite betrachten
robots.txt
Was genau muss man denn nun in die robots.txt eintragen, damit der Slurp 3.0 sich wen anders sucht zum Scannen?
Re: robots.txt
Kannst einfach "*" als Agent nehmen, dann sind alle raus. Oder willst du wirklich nur Slurp aussperren? Syntax der robots.txt gibts glaub ich bei selfhtml oder halt ansonsten in google