100% unverbindliche Anfrage

Bitte wählen Sie:

Deep Crawl Begriffserklärung und Definition

deep-crawlDer Begriff Deep Crawl bezeichnet ein Verfahren im Bereich der Suchmaschinenoptimierung, die auch unter dem englischen Kürzel SEO (Search Engine Optimization) bekannt ist. Jedes Mal, wenn ein Benutzer einen Suchbegriff in eine Suchmaschine eingibt, wird ein Crawl aktiviert, der die Domänen auf relevante Stichworte spidert, analysiert und indexiert, sie also in das Verzeichnis der Suchmaschine aufnimmt.

Die verschiedenen Suchmaschinen sind auf unterschiedliche Verzeichnistiefen ausgerichtet. Die Funktion des Deep Crawls, (zu deutsch: Tiefen-Indexierung) ist es, Deep Links (Tiefen-Verlinkungen) auf den Unterseiten der Websites aufzuspüren, um so die Unterseiten zu durchsuchen. Dabei ist es das Ziel, dass Unterseiten als eigenständige Seiten gewertet und dementsprechend indexiert werden. Der Deep Crawl reagiert auf bestimmte Kriterien, wie zum Beispiel die Link-Popularity oder den PageRank, und findet damit bestimmte Inhalte schneller.

Deep Crawl und Deep Links

Der Deep Crawl sucht nach Deep Links auf den unterschiedlichen Ebenen einer Webseite. Deep Links sind Links, die nicht auf die Startseite einer Domain verweisen, sondern direkt extern mit tieferliegenden Unterseiten einer Webseite verbinden. Der Vorteil besteht darin, dass der relevante Inhalt im Index als direkter Link zur Unterseite angezeigt wird. Das bedeutet einen schnelleren Zugriff auf die gewünschten Suchbegriffe, ohne Umwege über die Startseite gehen zu müssen.

Suchmaschinen mit und ohne Deep Crawl

Suchmaschinen, die keinen Deep Crawl benutzen, durchsuchen lediglich angemeldete Websites oder Websites bis zu einer bestimmten Tiefe der Unterseiten. Andere, die mit Deep Crawls arbeiten, finden und indexieren die gesuchten Keywords auch auf der untersten Seitenebene. Manche Deep Crawls von Suchmaschinen richten sich nach den oben genannten Kriterien (Link Popularity, PageRank) und durchsuchen nur die entsprechenden Unterseiten.

Wurde eine Domain neu erstellt, dauert es einige Wochen, bis der Deep Crawl auch die Unterseiten durchsucht, da der Deep Crawl nur bei bereits indexierten Startseiten durchgeführt wird. In diesen Fällen wird bei einer Suchanfrage zu Anfang nur die Startseite berücksichtigt (Fresh Crawl), da der Deep Crawl sehr zeitintensiv ist.

Um bei der zeitintensiven Suche den Webserver nicht zu stark zu überlasten, arbeiten einige Suchmaschinen mit Wartezeiten. Der Fresh Crawl indexiert neue Seiten zwar schnell, dafür aber nur oberflächlich, sodass sie teilweise nur für kurze Zeit in den Index der Suchmaschinen aufgenommen werden. Zudem gibt es eine Art Fresh Bonus, der bewirkt, dass auch eine neue Seite für kurze Zeit auf die ersten Ergebnisse einer Suchmaschinen- Anfrage katapultiert werden kann, jedoch ist dieser Bonus nur von kurzer Dauer.

Eine langfristige und vollständige Indexierung erfolgt erst durch den nächsten Deep Crawl, der damit die gesamte Webpräsenz einer Seite in mehreren Analysevorgängen erfasst.

Die Bedeutung des Deep Crawl für die eigene Webseite

Neben dem Finden bestimmter Inhalte bei Suchanfragen ist der Deep Crawl vor allem auch für die Betreiber eigener Websites ein interessantes Unterfangen. Beim Aufsetzen einer neuen Webseite oder auch der Aktualisierung oder dem neuen Einrichten einzelner Unterseiten warten die Betreiber oft wochenlang darauf, dass der Deep Crawl von der Suchmaschine durchgeführt wird und die neue Seite bzw. Unterseite in allen Einzelheiten erfasst. Je nach Popularität der Seite agiert der Deep Crawl mehrere Male im Abstand von einigen Tagen bis zu mehreren Wochen.

Mit dem Deep Crawl wird auch der PageRank errechnet, das heißt die eigene Seite wird in Relation zu vergleichbaren anderen Seiten bewertet und bei einer Suchmaschinen-Anfrage, je nach Bewertung, in die Position der Ergebnisse eingereiht. Eine Seite mit höherem PageRank wird dann zum Beispiel auf der ersten Seite der Suchergebnisse aufgeführt, ein niedrigerer PageRank zeigt die Webseite erst auf der dritten, vierten, fünften Seite usw. an.

Anhand von Logfiles (Protokolldateien) kann das Deep Crawling genau beobachtet werden. Die Logfiles zeigen an, ob ein Crawler auf der Seite war, und bis zu welcher Tiefe er die Unterseiten indexiert hat. Die Crawler verfügen über einen Useragent, der anzeigt, welche Suchmaschine sich gerade auf der eigenen Seite befindet. Beispielsweise treten Crawler von Yahoo! als „Slurp“ und die von Google als „Googlebot“ auf. Ebenso kann man anhand dieser Logfiles erkennen, von welcher IP-Adresse aus die Crawler gerade arbeiten.

Schneller zum Deep Crawl

Interessant für die Betreiber einer Webseite ist besonders, wie sich die Wartezeit verkürzen lässt, bis der Deep Crawl eine Seite erfasst. Zum Einen ist es wichtig, dass die neue Webseite durch externe Links, zunächst vom Fresh Crawl, gefunden werden kann. Das hat zusätzlich den Vorteil, dass die Suchmaschine die Relevanz der Seite höher einstuft.

Zusätzlich kann man sogenannte Backlinks auf anderen Seiten einrichten, die auf die neue Seite verlinken. Speziell im Bereich Social Media ist das heutzutage ein Leichtes. Über Blogs, Facebook, Twitter und Co lassen sich schnell und einfach solche Backlinks einrichten. Zudem ist es sinnvoll, seine neue Seite bei der gewünschten Suchmaschine anzumelden, aber auch hier ist eine gute Verlinkungs-Strategie zu beachten. Zum anderen kann die neue Webseite in spezielle Artikelverzeichnisse eingetragen werden, auf die die Crawls und etwas später, aber deutlich schneller, die Deep Crawls zugreifen.

Es kann vorkommen, dass die neue Webseite bei einer ersten Suchanfrage angezeigt wird, bei der nächsten Anfrage aber nicht mehr. Das hat den Hintergrund, dass manche Suchmaschinen mit mehreren Datencentern arbeiten, an die die Suchanfrage weitergeleitet wird. Es dauert einige Zeit, bis die Seite bei allen Datencentern indexiert wurde und bei jeder Suchanfrage angezeigt wird.



Zurück zur Hauptseite: d

Sie haben Fragen?

Kostenlose, unverbindliche Erstberatung:

Anrufer aus Deutschland:
Tel. 0771 - 1589439
Internationale Beratung:
Tel. +49771 - 1589439
Anfrage per Email:
buero@seo-analyse.com

» zum Anfrage-Formular

Onpage Optimierung

Suchmaschinenoptimierung im Quelltext

Wir schaffen für Ihre Webseite oder Ihren Shop eine optimale Onpage-Basis für weiterführende Optimierungsmaßnahmen.

Offpage Optimierung

Offpage Suchmaschinenoptimierung

Natürlicher Linkaufbau gemäß den Regeln der Suchmaschinen - wir bieten ihn!

SEO Beratung

SEO Beratung

Unsere Spezialisten beraten Sie gerne hinsichtlich Ihrer akuten oder strategischen Fragen.

Ranking Monitoring

Ranking Optimierung

Bei uns Standard: qualifiziertes Monitoring Ihrer Google Platzierungen.

Suchmaschinenoptimierung für Google

Google Suchmaschinenoptimierung

Wir kombinieren Google Optimierung mit ganzheitlicher Suchmaschinenoptimierung.

SEO Strategie

SEO Strategie

Praxisbewährte Strategien, die auf Zahlen und Fakten basieren.

SEO Tools

SEO Tools

Immer im Bild: professionelle SEO Tools informieren Sie über den Status Quo.