Zum einen gibt es die sogenannten Spider [engl. für „Spinne“]. Spider sind Programme, die von einem Suchmaschinenbetreiber losgeschickt werden, um die, bei einer Suchmaschine angemeldeten Seiten zu besuchen.Die Spider-Software überprüft die jeweiligen Seiten einer Webseite und sendet diese daraufhin an die Datenbank der jeweiligen Suchmaschine. Wenn ein Spider eine Seite nicht zum ersten Mal besucht, dann vergleicht er die aktuelle Seite mit der Seite, die in der Datenbank gespeichert ist und erkennt somit neue Inhalte auf der Webseite.Zum Anderen werden mit „Spider“ oder auch mit „Spider Suchmaschine“ auch genau die Suchmaschinen bezeichnet, die über einen ein eigenes Spider-Programm verfügen.Gerade für Webseitenbesitzer sind die Tage an denen eine Webseite von einem oder mehreren Spidern besucht wird, die interessantesten. Genau in dem Augenblick, in dem die Seiten gespidert werden, entscheidet sich das neue Ranking einer Webseite.
Optimierung für Spider Suchmaschinen
Wer also eine Seite effizient für Suchmaschinen optimieren will, der sollte die Inhalte eines Webs besonders spiderfreundlich gestalten. Dies geschieht durch sogenannte Suchmaschinenoptimierung.Der Besuch eines Suchmaschinen Spiders kann in den sogenannten Logfiles oder Logdateien der entsprechenden Webseite eingesehen werden und mittels einer Logfile-Analyse visuell dargestellt werden.