100% unverbindliche Anfrage

Bitte wählen Sie:

Crawler Begriffserklärung und Definition

crawlerDas Internet besteht mittlerweile aus unzähligen einzelnen Seiten und ohne die Hilfe von Suchmaschinen wäre es kaum mehr möglich, sich umfassend zu informieren. Der Großteil der Seiten wird deshalb nicht mehr direkt über eine URL-Eingabe angesteuert, sondern indirekt durch Suchmaschinen. Damit Suchmaschinen diese Informationen zur Verfügung stellen können, benutzen sie Crawler, die das Internet systematisch nach neuen Seiten bzw. geänderten Seiten durchsuchen. Nicht nur von Suchmaschinen werden Crawler verwendet, sondern auch im kleineren Rahmen werden diese Programme genutzt, um Dokumente zu sammeln.

Warum werden Crawler verwendet?

Seit 1993 sind die ersten Crawler im Einsatz, damals noch um die Dimensionen bzw. das Wachstum des Internets zu erheben. In Bezug auf diesen Einsatz stehen selbst mächtige Webcrawler auf verlorenem Posten, denn durch das exponentielle Wachstum kommen die Programme nur noch schwer hinterher. Daher verlagerte sich der Einsatz auf die Sammlung von Seiten und deren Kategorisierung.

Anfänglich war diese Kategorisierung noch sehr einfach und beschränkte sich meist auf bestimmte Themenbereiche. Dazu wurden sogenannte Meta-Tags verwendet, in denen der Inhalt der Seite mit einigen Schlagwörtern beschrieben wurde. Die erste Suchmaschine, der Webcrawler, der 1994 startete, verwendete diese Technologie.

Mittlerweile ist die Anzahl an Suchmaschinen angestiegen und damit auch die Anzahl an Crawlern. Sie verursachen etwa 40% des gesamten Traffics weltweit. Zudem wurde die Kategorisierung deutlich verbessert und beispielsweise ein Ranking der einzelnen Seiten eingeführt wurde. Durch die Sortierung der Seiten nach Relevanz konnte das Suchergebnis deutlich verbessert werden.

Wie funktionieren Crawler?

Crawler sind spezielle Bots, die autonom immer wieder die gleiche Aufgabe durchführen. Die Aufgabe bei Crawlern ist Seiten zu besuchen, URLs abzuspeichern und diese nach und nach zu besuchen. Der Crawler arbeitet sich so von Seite zu Seite und speichert dabei auch den zurückgelegten Weg ab. Theoretisch könnte so ein gesamtes Netz der Seiten aufgrund ihrer Verlinkungen erstellt werden.

In der Praxis ist dies jedoch meist unrealistisch, da auch bei den Verlinkungen von den Crawlern nur die wichtigsten Links angesteuert werden. Dadurch erreicht der Crawler irgendwann ein Ende und startet seine Aufgabe wieder von vorne bei einer neuen Seite. Nicht nur der gesamte Weg bzw. die Meta-Daten werden von den Crawlern gesammelt, sondern auch weitere Informationen wie etwa E-Mail-Adressen auf den besuchten Seiten oder Nachrichten von News-Feeds.

Verschiedene Arten an Crawlern

Unter den Crawlern gibt es verschiedene Arten, die beispielsweise nach bestimmten Themen suchen. Allgemeine Crawler haben im Fokus ein möglichst breites Spektrum, wo hingegen fokussierte Crawler nur thematisch relevante Links verfolgen. Sie suchen sich dadurch denn für sie idealsten Weg zur das Netz und speichern alle Informationen der relevanten Seiten ab. Crawler werden deshalb auch gerne zum Data-Mining verwendet, wodurch sie beispielsweise auch gerne für Datenbanken mit vielen unterschiedlichen Dokumenten verwendet werden.

Eine spezielle Form unter den Crawlern sind sogenannte Harvester. Deren einziger Sinn ist es, möglich viele E-Mail-Adressen zu finden. Über den mailto-Link können dann Spam-Mails versandt werden. Daher ist eine gängige Praxis, entweder Kontaktformulare anzubieten oder bei der Angaben von E-Mail-Adressen nicht das @-Zeichen zu verwenden, sondern „at“ zu schreiben, um sich vor unerwünschten E-Mails zu schützen. Ausgereifte Crawler können dies jedoch mittlerweile entsprechend interpretieren und wandeln das ausgeschriebene „at“ automatisch in das Zeichen um.

Eine der jüngsten Formen, sich vor dem Sammeln der E-Mail-Adresse durch Crawler zu schützen, ist die Adresse als Grafik einzubetten und mit dem entsprechenden mailto-Link zu verbinden. Diese Form ist auch bedienerfreundlich, da der Nutzer selbst nicht mehr das ausgeschriebene Zeichen ersetzen muss.

Wann stoßen Crawler an ihre Grenzen?

Effiziente Crawler sind bis zu einem gewissen Maß lernfähig und liefern dadurch auch verhältnismäßig gute Ergebnisse. Manchmal stehen jedoch auch Crawler vor verschlossenen Türen, besonders, wenn sich Informationen beispielsweise hinter Portalen mit Zugangsbeschränkungen befinden oder diese nur über Suchmasken abgerufen werden können. Deshalb kann auch der Großteil des Internets noch immer nicht erfasst werden.

Ein weiteres Problem ist das Sammeln von Informationen durch Crawler selbst, das besonders Datenschützer beschäftigt. Diese sind vehement gegen das wahllose Sammeln von Daten, weshalb oft bewusst Crawler behindert werden.

Beim sogenannten Cloaking wird dem Crawler eine andere Seite angezeigt als dem normalen Besucher. Dies führt dann natürlich auch zu Problemen, wenn Seitenbetreiber darauf angewiesen sind, über Suchmaschinen gefunden zu werden. Daher wird diese Technologie überwiegend bei Seiten verwendet, die zwar öffentlich sind, jedoch nicht von einer breiten Masse gefunden werden sollen.

Ein weiteres Problem, die Crawler in ihrer Arbeit massiv beeinträchtigen, sind sogenannte Teergruben. Diese wurden geschaffen um schlechte Bots, die nur darauf abzielen, Adressen für Spam-Mails zu sammeln, zu behindern. Bei Teergruben wird die Antwortzeit bewusst hoch gesetzt und die Informationen nur sehr langsam an den Crawler übermittelt.

Welche Vorteile und Nachteile haben Crawler?

Der Nachteil der Crawler besteht darin, dass sie gegenüber einer menschlichen Kategorisierung der Relevanz noch immer große Defizite besitzen. Zwar wird in Kombination mit anderen Algorithmen und Bewertungsverfahren das Ranking immer wieder verbessert; Seitenbetreiber, die allerdings von Besuchern leben, versuchen dies immer wieder zu umgehen und das Ranking zu pushen.

Im Gegenzug dazu fallen Seiten, die nicht für das Internet bzw. Crawler optimiert werden, einfacher durch den Raster. Daher bieten viele Suchmaschinenbetreiber die Möglichkeit, Seiten manuell einzutragen, wodurch in Zukunft die Seite automatisch immer wieder besucht wird. Weiterleitungen sollten daher auch vermieden werden und beispielsweise nur die richtige Seite mit Inhalt eingetragen werden.

Unumstritten bieten Crawler für den Nutzer den größten Vorteil, denn ohne sie wäre es nicht möglich, eine selektierte Auswahl an Suchergebnissen zur Verfügung zu stellen. Dennoch sollte man sich nicht nur auf das beste Ergebnis verlassen, sondern auch noch andere Seiten ansteuern bei der Suche nach Informationen. Das Internet besteht mittlerweile aus unzähligen einzelnen Seiten und ohne die Hilfe von Suchmaschinen wäre es kaum mehr möglich, sich umfassend zu informieren.



Zurück zur Hauptseite: c

Sie haben Fragen?

Kostenlose, unverbindliche Erstberatung:

Anrufer aus Deutschland:
Tel. 0771 - 1589439
Internationale Beratung:
Tel. +49771 - 1589439
Anfrage per Email:
buero@seo-analyse.com

» zum Anfrage-Formular

Onpage Optimierung

Suchmaschinenoptimierung im Quelltext

Wir schaffen für Ihre Webseite oder Ihren Shop eine optimale Onpage-Basis für weiterführende Optimierungsmaßnahmen.

Offpage Optimierung

Offpage Suchmaschinenoptimierung

Natürlicher Linkaufbau gemäß den Regeln der Suchmaschinen - wir bieten ihn!

SEO Beratung

SEO Beratung

Unsere Spezialisten beraten Sie gerne hinsichtlich Ihrer akuten oder strategischen Fragen.

Ranking Monitoring

Ranking Optimierung

Bei uns Standard: qualifiziertes Monitoring Ihrer Google Platzierungen.

Suchmaschinenoptimierung für Google

Google Suchmaschinenoptimierung

Wir kombinieren Google Optimierung mit ganzheitlicher Suchmaschinenoptimierung.

SEO Strategie

SEO Strategie

Praxisbewährte Strategien, die auf Zahlen und Fakten basieren.

SEO Tools

SEO Tools

Immer im Bild: professionelle SEO Tools informieren Sie über den Status Quo.