Zum einen gibt es die sogenannten Spider [engl. für „Spinne“]. Spider sind Programme, die von einem Suchmaschinenbetreiber eingesetzt werden, um öffentlich erreichbare Seiten abzurufen. Häufig werden sie auch als Crawler oder Bots bezeichnet. Die Spider-Software überprüft die jeweiligen Seiten einer Webseite und übermittelt erfasste Inhalte und Signale an die Systeme der jeweiligen Suchmaschine. Wenn ein Spider eine Seite nicht zum ersten Mal besucht, kann er neue oder veränderte Inhalte erkennen. Crawling und Indexierung sind jedoch getrennte Vorgänge: Der Abruf einer Seite bedeutet nicht automatisch, dass sie in den Suchindex aufgenommen wird. Zum anderen werden mit Spider oder Spider-Suchmaschine auch Suchmaschinen bezeichnet, die über ein eigenes Spider-Programm verfügen. Für Webseitenbesitzer sind die Zeitpunkte interessant, an denen eine Webseite von einem oder mehreren Spidern besucht wird. Das neue Ranking entscheidet sich allerdings nicht unmittelbar beim Crawling. Erst die weitere Verarbeitung und Bewertung der abrufbaren Inhalte kann sich auf Indexierung und Rankings auswirken.
Optimierung für Spider-Suchmaschinen
Wer eine Seite effizient für Suchmaschinen optimieren will, sollte die Inhalte und technischen Voraussetzungen einer Website spiderfreundlich gestalten. Dies geschieht durch Suchmaschinenoptimierung. Wichtige Voraussetzungen sind intern verlinkte und technisch erreichbare URLs, aussagekräftige Inhalte sowie korrekte HTTP-Antworten. Auch Sitemaps können das Auffinden von URLs unterstützen. Eine Freigabe für das Crawling garantiert jedoch weder die Indexierung noch eine bestimmte Rankingposition.
Der Besuch eines Suchmaschinen-Spiders kann in den sogenannten Logfiles oder Logdateien der entsprechenden Webseite eingesehen und mittels einer Logfile-Analyse visuell dargestellt werden. Dabei lässt sich unter anderem prüfen, welche URLs ein Bot abgerufen hat, wann der Abruf erfolgte und welchen HTTP-Statuscode der Server zurückgab. Logfiles zeigen allerdings nicht, ob eine URL anschließend indexiert wurde oder wie die Suchmaschine ihren Inhalt bewertet.
Zusammenfassung
Ein Spider ist ein Softwareprogramm, das von Suchmaschinen eingesetzt wird, um Webseiten zu durchsuchen und Informationen an die Systeme der Suchmaschine zu senden. Wenn der Spider eine Seite erneut besucht, kann er neue oder veränderte Inhalte erfassen.
Der Begriff Spider-Suchmaschine bezieht sich auf Suchmaschinen, die über ein eigenes Spider-Programm verfügen. Für Webseitenbesitzer sind die Zeiten, in denen ihre Seiten von Spidern durchsucht werden, besonders interessant. Der Besuch allein bestimmt jedoch nicht das zukünftige Ranking der Website, sondern schafft zunächst eine Voraussetzung für die weitere Verarbeitung und mögliche Indexierung.
Effektive Suchmaschinenoptimierung (SEO) sollte darauf abzielen, Inhalte und wichtige Ressourcen für berechtigte Suchmaschinen-Crawler zugänglich und verständlich zu gestalten. Der Besuch eines Spiders kann in den Logfiles der jeweiligen Webseite eingesehen und durch eine Logfile-Analyse visualisiert werden.
Häufige Fragen und Antworten
Spider sind Programme, die von Suchmaschinenbetreibern verwendet werden, um Websites zu durchsuchen und Inhalte an die Systeme der Suchmaschine zu übertragen. Sie werden auch als Crawler oder Bots bezeichnet. Durch wiederholte Besuche können sie neue und aktualisierte Inhalte erfassen. Ob diese Inhalte indexiert werden, entscheidet sich jedoch erst in einem weiteren Verarbeitungsschritt.
Bei der Suchmaschinenoptimierung wird auch geprüft, ob Spider die benötigten Inhalte abrufen können. Damit Suchmaschinen Inhalte verarbeiten können, sollten wichtige Seiten technisch erreichbar, intern verlinkt und verständlich strukturiert sein. Durch die Analyse der Logfiles einer Webseite lässt sich prüfen, welche URLs von Suchmaschinen-Bots abgerufen wurden und ob dabei technische Fehler auftraten.
Eine Spider-Suchmaschine bezeichnet eine Suchmaschine, die ein eigenes Spider-Programm zum Crawlen von Websites besitzt. Diese Software ruft Webseiten ab und übermittelt erfasste Informationen an die Suchmaschinensysteme. Crawling und die anschließende Aufnahme in den Suchindex sind dabei voneinander zu unterscheiden.
Der Besuch eines Spiders verändert das Ranking einer Webseite nicht automatisch. Beim Crawling werden Inhalte und technische Signale zunächst abgerufen. Danach kann die Suchmaschine die Seite verarbeiten, indexieren und anhand verschiedener Signale bewerten. Neue oder aktualisierte Inhalte können Rankings beeinflussen.
Um Inhalte spiderfreundlich zu gestalten, sollten wichtige URLs technisch erreichbar und über nachvollziehbare interne Links auffindbar sein. Hilfreich sind außerdem korrekte HTTP-Statuscodes, eine klare Seitenstruktur, aussagekräftige Inhalte und bei Bedarf eine aktuelle Sitemap. Eine Logfile-Analyse kann zeigen, ob Suchmaschinen-Crawler die vorgesehenen Seiten tatsächlich abrufen und an welchen Stellen technische Hindernisse auftreten.
