Google Crawler versucht "unsichtbares Web" zu indizieren
Anzeige Hier werben
Als "unsichtbares Web" (oder dunkles Web, "dark web/invisible web") wird der Teil des Internets bezeichnet, der nur durch Eingabe von Daten in Formulare zugänglich ist. Suchmaschinen können diese Teile des Internets auf herkömmliche Weise nicht indizieren, da keine Formulare ausgefüllt werden. Besonders kritisch ist das, wenn Select-Felder für die Navigation einer Seite verwendet wird.
Für dieses Problem hat nun zumindest Google eine Lösung gefunden. Auf hochwertigen Seiten werden Formulare in Zukunft mit Begriffen gefüttert, die sich auf der restlichen Webpräsenz finden und bedient Radio-Buttons, Select-Felder etc.. Was "hochwertig" bedeutet wird hierbei wie von Google gewohnt nicht näher spezifiziert.
Meta-Angaben wie noindex/nofollow oder der Ausschluss in der robots.txt werden hierbei wie gewohnt beachtet. Da Formulare durch die Änderung anders behandelt werden müssen Webmaster allerdings auf Seiten mit Formularen die Angaben möglicherweise nachrüsten. Zumindest, wenn bisher davon ausgegangen wurde, dass die Formulare sowieso nur von wirklichen Besuchern ausgefüllt werden und sie deswegen nicht für Crawler gesperrt wurden.
David Danier arbeitet seit mehr als neun Jahren im Bereich Web Programmierung und ist unter anderem Geschäftsführer der Webagentur Team23 sowie Webmasterpro.de.
Profilseite betrachten