Der Begriff Deep Crawl bezeichnet ein Verfahren im Bereich der Suchmaschinenoptimierung, die auch unter dem englischen Kürzel SEO (Search Engine Optimization) bekannt ist. Jedes Mal, wenn ein Benutzer einen Suchbegriff in eine Suchmaschine eingibt, wird ein Crawl aktiviert, der die Domänen auf relevante Stichworte spidert, analysiert und indexiert, sie also in das Verzeichnis der Suchmaschine aufnimmt.
Die verschiedenen Suchmaschinen sind auf unterschiedliche Verzeichnistiefen ausgerichtet. Die Funktion des Deep Crawls, (zu deutsch: Tiefen-Indexierung) ist es, Deep Links (Tiefen-Verlinkungen) auf den Unterseiten der Websites aufzuspüren, um so die Unterseiten zu durchsuchen. Dabei ist es das Ziel, dass Unterseiten als eigenständige Seiten gewertet und dementsprechend indexiert werden. Der Deep Crawl reagiert auf bestimmte Kriterien, wie zum Beispiel die Link-Popularity oder den PageRank, und findet damit bestimmte Inhalte schneller.
Deep Crawl und Deep Links
Der Deep Crawl sucht nach Deep Links auf den unterschiedlichen Ebenen einer Webseite. Deep Links sind Links, die nicht auf die Startseite einer Domain verweisen, sondern direkt extern mit tieferliegenden Unterseiten einer Webseite verbinden. Der Vorteil besteht darin, dass der relevante Inhalt im Index als direkter Link zur Unterseite angezeigt wird. Das bedeutet einen schnelleren Zugriff auf die gewünschten Suchbegriffe, ohne Umwege über die Startseite gehen zu müssen.
Suchmaschinen mit und ohne Deep Crawl
Suchmaschinen, die keinen Deep Crawl benutzen, durchsuchen lediglich angemeldete Websites oder Websites bis zu einer bestimmten Tiefe der Unterseiten. Andere, die mit Deep Crawls arbeiten, finden und indexieren die gesuchten Keywords auch auf der untersten Seitenebene. Manche Deep Crawls von Suchmaschinen richten sich nach den oben genannten Kriterien (Link Popularity, PageRank) und durchsuchen nur die entsprechenden Unterseiten.
Wurde eine Domain neu erstellt, dauert es einige Wochen, bis der Deep Crawl auch die Unterseiten durchsucht, da der Deep Crawl nur bei bereits indexierten Startseiten durchgeführt wird. In diesen Fällen wird bei einer Suchanfrage zu Anfang nur die Startseite berücksichtigt (Fresh Crawl), da der Deep Crawl sehr zeitintensiv ist.
Um bei der zeitintensiven Suche den Webserver nicht zu stark zu überlasten, arbeiten einige Suchmaschinen mit Wartezeiten. Der Fresh Crawl indexiert neue Seiten zwar schnell, dafür aber nur oberflächlich, sodass sie teilweise nur für kurze Zeit in den Index der Suchmaschinen aufgenommen werden. Zudem gibt es eine Art Fresh Bonus, der bewirkt, dass auch eine neue Seite für kurze Zeit auf die ersten Ergebnisse einer Suchmaschinen- Anfrage katapultiert werden kann, jedoch ist dieser Bonus nur von kurzer Dauer.
Eine langfristige und vollständige Indexierung erfolgt erst durch den nächsten Deep Crawl, der damit die gesamte Webpräsenz einer Seite in mehreren Analysevorgängen erfasst.
Die Bedeutung des Deep Crawl für die eigene Webseite
Neben dem Finden bestimmter Inhalte bei Suchanfragen ist der Deep Crawl vor allem auch für die Betreiber eigener Websites ein interessantes Unterfangen. Beim Aufsetzen einer neuen Webseite oder auch der Aktualisierung oder dem neuen Einrichten einzelner Unterseiten warten die Betreiber oft wochenlang darauf, dass der Deep Crawl von der Suchmaschine durchgeführt wird und die neue Seite bzw. Unterseite in allen Einzelheiten erfasst. Je nach Popularität der Seite agiert der Deep Crawl mehrere Male im Abstand von einigen Tagen bis zu mehreren Wochen.
Mit dem Deep Crawl wird auch der PageRank errechnet, das heißt die eigene Seite wird in Relation zu vergleichbaren anderen Seiten bewertet und bei einer Suchmaschinen-Anfrage, je nach Bewertung, in die Position der Ergebnisse eingereiht. Eine Seite mit höherem PageRank wird dann zum Beispiel auf der ersten Seite der Suchergebnisse aufgeführt, ein niedrigerer PageRank zeigt die Webseite erst auf der dritten, vierten, fünften Seite usw. an.
Anhand von Logfiles (Protokolldateien) kann das Deep Crawling genau beobachtet werden. Die Logfiles zeigen an, ob ein Crawler auf der Seite war, und bis zu welcher Tiefe er die Unterseiten indexiert hat. Die Crawler verfügen über einen Useragent, der anzeigt, welche Suchmaschine sich gerade auf der eigenen Seite befindet. Beispielsweise treten Crawler von Yahoo! als „Slurp“ und die von Google als „Googlebot“ auf. Ebenso kann man anhand dieser Logfiles erkennen, von welcher IP-Adresse aus die Crawler gerade arbeiten.
Schneller zum Deep Crawl
Interessant für die Betreiber einer Webseite ist besonders, wie sich die Wartezeit verkürzen lässt, bis der Deep Crawl eine Seite erfasst. Zum Einen ist es wichtig, dass die neue Webseite durch externe Links, zunächst vom Fresh Crawl, gefunden werden kann. Das hat zusätzlich den Vorteil, dass die Suchmaschine die Relevanz der Seite höher einstuft.
Zusätzlich kann man sogenannte Backlinks auf anderen Seiten einrichten, die auf die neue Seite verlinken. Speziell im Bereich Social Media ist das heutzutage ein Leichtes. Über Blogs, Facebook, Twitter und Co lassen sich schnell und einfach solche Backlinks einrichten. Zudem ist es sinnvoll, seine neue Seite bei der gewünschten Suchmaschine anzumelden, aber auch hier ist eine gute Verlinkungs-Strategie zu beachten. Zum anderen kann die neue Webseite in spezielle Artikelverzeichnisse eingetragen werden, auf die die Crawls und etwas später, aber deutlich schneller, die Deep Crawls zugreifen.
Es kann vorkommen, dass die neue Webseite bei einer ersten Suchanfrage angezeigt wird, bei der nächsten Anfrage aber nicht mehr. Das hat den Hintergrund, dass manche Suchmaschinen mit mehreren Datencentern arbeiten, an die die Suchanfrage weitergeleitet wird. Es dauert einige Zeit, bis die Seite bei allen Datencentern indexiert wurde und bei jeder Suchanfrage angezeigt wird.
Zusammenfassung
Deep Crawl ist eine spezielle Technik in der Suchmaschinenoptimierung (SEO), die darauf abzielt, Unterseiten von Websites effektiv zu erfassen. Es untersucht Deep Links, die auf tiefer liegende Unterseiten einer Website verweisen und ermöglicht so eine gründlichere Indexierung durch Suchmaschinen. Dadurch können Nutzer direkt zu relevanten Unterseiten gelangen, ohne über die Startseite navigieren zu müssen.
Suchmaschinen unterscheiden sich in der Anwendung von Deep Crawls. Während einige nur registrierte Websites oder Unterseiten bis zu einer bestimmten Tiefe erfassen, durchsuchen andere mithilfe von Deep Crawls auch die am wenigsten zugänglichen Seiten. Diese Verfahren sind oftmals abhängig von bestimmten Kriterien wie Link-Popularity und PageRank.
Für neu erstellte Domains kann es einige Wochen dauern, bis der Deep Crawl in Aktion tritt. In der Zwischenzeit wird oft ein Fresh Crawl durchgeführt, der sich schneller, aber weniger gründlich, nur auf die Startseite konzentriert. Einige Suchmaschinen arbeiten mit Wartezeiten, um Serverüberlastungen zu vermeiden.
Für Webseitenbetreiber ist der Deep Crawl von großer Bedeutung, da er auch den PageRank der Seite berechnet, der die Sichtbarkeit in den Suchergebnissen beeinflusst. Logfiles können genutzt werden, um den Fortschritt der Indexierung durch verschiedene Suchmaschinen-Crawler zu überwachen.
Die Wartezeit für einen Deep Crawl kann durch die Einrichtung von Backlinks und einer soliden Verlinkungsstrategie verkürzt werden. Auch die Registrierung der Website bei der jeweiligen Suchmaschine und der Einsatz von Social Media können die Indexierung beschleunigen.
Häufige Fragen und Antworten
Was ist Deep Crawl?
Deep Crawl ist ein Verfahren in der Suchmaschinenoptimierung (SEO), bei dem Unterseiten einer Webseite gründlich indexiert werden. Dabei werden Deep Links, also Verlinkungen auf Unterseiten, untersucht, um eine umfassende Indexierung durch Suchmaschinen zu ermöglichen. Dies erleichtert Nutzern den direkten Zugriff auf relevante Unterseiten ohne Umwege über die Startseite.
Warum ist der Deep Crawl wichtig für eine Webseite?
Der Deep Crawl ist besonders wichtig für Webseitenbetreiber, da er neben der Indexierung auch den PageRank einer Seite berechnet. Der PageRank beeinflusst die Position der Seite in den Suchergebnissen. Je höher der PageRank, desto weiter oben wird die Seite gelistet. Eine gute Platzierung in den Suchergebnissen erhöht die Sichtbarkeit und kann zu mehr Besuchern und potenziellen Kunden führen.
Wie kann man den Deep Crawl beschleunigen?
Es gibt mehrere Möglichkeiten, um den Deep Crawl zu beschleunigen. Eine effektive Methode ist der Aufbau von Backlinks, also Verlinkungen auf die eigene Webseite von anderen Seiten. Zudem ist eine gute Verlinkungsstrategie wichtig, die dafür sorgt, dass die Seite von verschiedenen Quellen aus verlinkt wird. Die Registrierung der Webseite bei der jeweiligen Suchmaschine und die Nutzung von Social Media können ebenfalls dazu beitragen, dass der Deep Crawl schneller durchgeführt wird.
Wie funktioniert der Deep Crawl von Suchmaschinen?
Der Deep Crawl von Suchmaschinen durchsucht Webseiten nach Deep Links, also Verlinkungen auf Unterseiten. Dabei werden bestimmte Kriterien wie Link-Popularity und PageRank berücksichtigt, um relevante Inhalte schneller zu finden. Die Crawler verwenden Useragenten, um den Quellcode der Webseite zu analysieren und die Webseite in den Index der Suchmaschine aufzunehmen. Die genaue Funktionsweise kann anhand von Logfiles überwacht werden.