100% unverbindliche Anfrage

Bitte wählen Sie:

Googlebot

Mit Googlebot ist ein von der Suchmaschine Google verwendetes Programm gemeint, das als Webcrawler Bilder und Texte im Internet aufspürt und diese Dokumente über die Bild- und Textsuche von Google für die Internetnutzer auffindbar macht.

Arbeitsweise des Googlebot

Der Prozess, durch den der Googlebot aktualisierte oder neue Internetseiten ermittelt, wird als Crawling bezeichnet. Zum Durchsuchen des Internets setzt Google eine große Anzahl von Rechnern ein, wobei täglich mehrere Milliarden Webseiten durchsucht werden. Ein Computerprogramm legt fest, welche Internetseiten wie oft und wann durchsucht werden.

Ebenfalls festgelegt ist die Anzahl von Seiten, die von einer zu durchsuchenden Webseite durchsucht werden. Der Googlebot beginnt den Crawling-Prozess mit einer Liste von URLs. Diese Liste wurde auf Grundlage früherer Crawling-Prozesse erzeugt und anhand spezieller XML-Sitemap-Daten ergänzt und vervollständigt. Die XML-Sitemap-Daten werden vom jeweiligen Webmaster zur Verfügung gestellt.

Besucht der Googlebot eine Webseite, dann werden Links mit Hilfe der HTML-Attribute HREF oder SRC automatisch erkannt und zu dieser Liste hinzugefügt. Wenn vorhandene Websites verändert wurden, Links veraltet sind oder neue Websites hinzugefügt wurden, dann wird dies von Googlebot erkannt und der Google-Index entsprechend aktualisiert.

In der Regel greift Googles Webcrawler Googlebot alle paar Sekunden nur einmal auf die Webseite zu. Netzwerkverzögerungen können dazu führen, dass diese Frequenz über einen kurzen Zeitraum betrachtet höher erscheint. In den meisten Fällen lädt der Googlebot von einer einzelnen Seite nur ein Exemplar herunter. Wird eine Seite mehrfach heruntergeladen, dann ist dies zumeist darauf zurückzuführen, dass der Webcrawler angehalten und neu gestartet wurde.

Der Googlebot ist auf mehrere Rechner verteilt. Durch diese Vorgehensweise soll die Leistung erhöht und der Umfang durchsuchter Seiten gesteigert werden. Um die erforderliche Bandbreite zu senken, führt Google die Crawler wenn möglich auf Rechnern aus, die sich in der Nähe der indexierten Webseiten befinden.

Eine Webseite für den Googlebot sperren

Es ist quasi unmöglich, einen Webserver dadurch im Verborgenen zu halten, dass die Adresse des Servers bzw. Links zu diesem Server nicht veröffentlicht werden – sobald auf der vermeintlich geheimen Seite ein Link zu einer anderen Webseite angeklickt wird, erscheint die „geheime“ Seite im Verweis-Tag und damit im Verweisprotokoll der besuchten Seite.

Zudem gibt es zunehmend das Problem fehlerhafter und veralteter Links, die daraus resultieren, dass geänderte Internetadressen nicht regelmäßig aktualisiert werden. Um zu verhindern, dass der Webcrawler Googlebot die Inhalte einer bestimmten Webseite durchsucht, können mit Hilfe der Datei „robots.txt“ die Verzeichnisse und Dateien auf dem jeweiligen Server gesperrt werden. Wird eine solche „robots.txt“-Datei erstellt, kann es unter Umständen ein wenig dauern, bis diese Änderung von Googlebot erkannt werden.

Wird die Webseite trotz der Datei „robots.txt“ auch weiterhin durchsucht, befindet sich die Datei vermutlich nicht im obersten Serververzeichnis und somit am falschen Speicherort. Um Fehlermeldungen der Art „Server nicht gefunden“ zu vermeiden, kann eine leere Datei mit dem Namen „robots.txt“ erstellt werden; damit Googlebot den Links, die auf der Webseite zu finden sind, nicht folgt, kann das Meta-Tag „nofollow“ verwendet werden.

Ob die Datei „robots.txt“ funktioniert, kann mit Hilfe entsprechender Tools überprüft werden. Des Weiteren sind Tools verfügbar, die es ermöglichen, eine Webseite so zu sehen, wie sie der Webcrawler Googlebot sieht.

Googlebot: Durchsuchen der Webseite sicherstellen

Eine Website wird vom Googlebot über die Links zu dieser Website gefunden. Um sicherzustellen, dass eine Internetseite durchsucht wird, können die von Google bereitgestellten Webmaster-Tools genutzt werden. Auf der dortigen Crawling-Fehler-Seite findet sich eine Liste mit allen Problemen, die von Googlebot beim Durchsuchen der Webseite festgestellt wurden.

Wird eine Internetseite nicht gefunden bzw. in den Suchergebnissen angezeigt, obwohl die Datei „robots.txt“ funktioniert, kann dies auf verschiedene Ursachen zurückzuführen sein. So ist es beispielsweise möglich, dass die Inhalte der Webseite nicht nützlich oder relevant genug sind, um über Google gefunden zu werden.

Probleme im Zusammenhang mit Googlebot

Googlebot verwendet bestimmte IP-Adressen, die sich von Zeit zu Zeit ändern. Am einfachsten können Zugriffe durch den Webcrawler Googlebot anhand des User-Agents ermittelt werden, der in diesem Fall „Googlebot“ lautet. Ob ein auf den Server zugreifender Bot tatsächlich der Googlebot ist, kann des Weiteren mit einer umgekehrten DNS-Suche ermittelt werden.

Zwar werden die in der Datei „robots.txt“ enthaltenen Anweisungen sowohl von Googlebot als auch von anderen seriösen Suchmaschinen bzw. deren Bots akzeptiert, jedoch gilt dies für einige Spammer und bösartige Nutzer nicht. In einem solchen Fall sollte das Problem Google gemeldet werden.

Weiterhin gibt es von Google weitere User-Agents, zum Beispiel den Feedfetcher, wobei in diesem Fall als User-Agent „Feedfetcher-Google“ angegeben ist. Feedfetcher-Anfragen werden jedoch nicht von Webcrawlern durchgeführt, sondern sind auf explizite Aktionen menschlicher Nutzer zurückzuführen. Werden also Feeds dem Google Reader oder der Startseite von Google hinzugefügt, ist ein Befolgen der in „robots.txt“ enthaltenen Anweisungen nicht zu erwarten.

Allerdings kann der Server so konfiguriert werden, dass das Durchsuchen der entsprechenden Webseite durch den Google-Feedfetcher unterbunden wird. In diesem Fall wird dem User-Agent Feedfetcher eine Fehlermeldung zurückgegeben. Die dafür vorgesehenen Fehlercodes können 404 oder 410 lauten.



Zurück zur Hauptseite: Google Webmaster Services

Sie haben Fragen?

Kostenlose, unverbindliche Erstberatung:

Anrufer aus Deutschland:
Tel. 0771 - 1589439
Internationale Beratung:
Tel. +49771 - 1589439
Anfrage per Email:
buero@seo-analyse.com

» zum Anfrage-Formular

Onpage Optimierung

Suchmaschinenoptimierung im Quelltext

Wir schaffen für Ihre Webseite oder Ihren Shop eine optimale Onpage-Basis für weiterführende Optimierungsmaßnahmen.

Offpage Optimierung

Offpage Suchmaschinenoptimierung

Natürlicher Linkaufbau gemäß den Regeln der Suchmaschinen - wir bieten ihn!

SEO Beratung

SEO Beratung

Unsere Spezialisten beraten Sie gerne hinsichtlich Ihrer akuten oder strategischen Fragen.

Ranking Monitoring

Ranking Optimierung

Bei uns Standard: qualifiziertes Monitoring Ihrer Google Platzierungen.

Suchmaschinenoptimierung für Google

Google Suchmaschinenoptimierung

Wir kombinieren Google Optimierung mit ganzheitlicher Suchmaschinenoptimierung.

SEO Strategie

SEO Strategie

Praxisbewährte Strategien, die auf Zahlen und Fakten basieren.

SEO Tools

SEO Tools

Immer im Bild: professionelle SEO Tools informieren Sie über den Status Quo.