100% unverbindliche Anfrage

Bitte wählen Sie:

robots.txt Datei Begriffserklärung und Definition

robots-txt-dateiEs gibt in der Suchmaschinenoptimierungs-Szene viele Gerüchte über die Relevanz der sogenannten robots.txt-Datei. Sicher ist auf jeden Fall, dass man mit der Robots.txt-Datei eine Möglichkeit hat, um den Suchmaschinen den Zugang zu einer Datei oder einem Ordner oder Verzeichnis zu erschweren. Alle seriösen Suchmaschinen halten sich an die robots.txt-Anweisungen.

Exemplarischer Aufbau einer Robots.txt Datei:

# robots.txt for http://www.domain.tld
# file created: XX.XX.XX
User-agent: *
Disallow: /auszuschliessendes_verzeichnis

Sie können den obigen Text einfach kopieren und in einen ASCII-Editor einfügen. Darauf können Sie die robots.txt für Ihre Webseite anpassen. Dies geschieht durch Integration der eigenen Domain, dem aktuellen Datum, den Dateien oder Ordnern, die vom Robot der Suchmaschine nicht durchsucht werden sollen und der Seitenbeschreibung. Wenn Sie über keine alte Seitenbeschreibung verfügen, dann können Sie die darauf folgenden 2 Zeilen auch einfach weglassen.

Wichtig ist nur, dass diese Datei in einem ASCII-Editor erstellt und bearbeitet wird. Der Upload muss ebenfalls im ASCII-Modus Ihres FTP-Programmes erfolgen, damit die Datei auch für die Suchmaschinen lesbar ist.

Die robots.txt-Datei sollte nicht umbenannt werden und stets im Root-Verzeichnis der jeweiligen Domain verortet sein. Der Pfad zur robots.txt folgt also immer dem Schema: https://www.domain.tld/robots.txt

Wenn man diese URL in den Browser eingibt, dann kann man ebenfalls feststellen, ob der Upload um ASCII-Modus erfolgreich war. Wenn ja, dann können Sie den Inhalt so lesen, wie er im Editor eingegeben wurde ; wenn nein, dann liegt dies daran, dass der Upload im ASCII-Modus fehlgeschlagen ist.

Typische SEO-Fehler durch falsche robots.txt-Konfiguration:

Google gibt in den Suchergebnissen eine Meldung „Die Datei „robots.txt“ auf dieser Website lässt nicht zu, dass eine Beschreibung für das Suchergebnis angezeigt wird.“ aus, wenn der Googlebot durch die robots.txt-Datei von der Indizierung einer Seite oder gar einer ganzen Domain ausgeschlossen wurde. Ob dies irrtümlich oder absichtlich geschehen ist, spielt für Google keine Rolle. Google hält sich 1 zu 1 an die robots.txt-Anweisungen.

Wird die Meldung bei Google angzeigt, so ist dies also kein Irrtum, sondern stets auf die real vorhandenen Einträge zurück zu führen. Ein vermeintlicher Fehler kommt hier erfahrungsgemäß nie vor – wenn anstatt der Beschreibung Ihrer Homepage die o.g. Google-Meldung angezeigt wird, dann sollten Sie schnell handeln. Dies ist ein klares Indiz dafür, dass die robots.txt fehlerhaft konfiguriert ist.

Wenn Sie die Google Mitteilung nicht lösen können, helfen wir Ihnen gerne weiter. Nehmen Sie einfach unverbindlich Kontakt zu uns auf – wir beraten Sie gerne und informieren Sie, wie Sie die akuten SEO-Probleme beheben können.



Zurück zur Hauptseite: r

Sie haben Fragen?

Kostenlose, unverbindliche Erstberatung:

Anrufer aus Deutschland:
Tel. 0771 - 1589439
Internationale Beratung:
Tel. +49771 - 1589439
Anfrage per Email:
buero@seo-analyse.com

» zum Anfrage-Formular

Onpage Optimierung

Suchmaschinenoptimierung im Quelltext

Wir schaffen für Ihre Webseite oder Ihren Shop eine optimale Onpage-Basis für weiterführende Optimierungsmaßnahmen.

Offpage Optimierung

Offpage Suchmaschinenoptimierung

Natürlicher Linkaufbau gemäß den Regeln der Suchmaschinen - wir bieten ihn!

SEO Beratung

SEO Beratung

Unsere Spezialisten beraten Sie gerne hinsichtlich Ihrer akuten oder strategischen Fragen.

Ranking Monitoring

Ranking Optimierung

Bei uns Standard: qualifiziertes Monitoring Ihrer Google Platzierungen.

Suchmaschinenoptimierung für Google

Google Suchmaschinenoptimierung

Wir kombinieren Google Optimierung mit ganzheitlicher Suchmaschinenoptimierung.

SEO Strategie

SEO Strategie

Praxisbewährte Strategien, die auf Zahlen und Fakten basieren.

SEO Tools

SEO Tools

Immer im Bild: professionelle SEO Tools informieren Sie über den Status Quo.