Es gibt in der Suchmaschinenoptimierungs-Szene viele Gerüchte über die Relevanz der sogenannten robots.txt-Datei. Sicher ist auf jeden Fall, dass man mit der Robots.txt-Datei eine Möglichkeit hat, um den Suchmaschinen den Zugang zu einer Datei oder einem Ordner oder Verzeichnis zu erschweren. Alle seriösen Suchmaschinen halten sich an die robots.txt-Anweisungen.
Exemplarischer Aufbau einer Robots.txt Datei:
# robots.txt for http://www.domain.tld
# file created: XX.XX.XX
User-agent: *
Disallow: /auszuschliessendes_verzeichnis
Sie können den obigen Text einfach kopieren und in einen ASCII-Editor einfügen. Darauf können Sie die robots.txt für Ihre Webseite anpassen. Dies geschieht durch Integration der eigenen Domain, dem aktuellen Datum, den Dateien oder Ordnern, die vom Robot der Suchmaschine nicht durchsucht werden sollen und der Seitenbeschreibung. Wenn Sie über keine alte Seitenbeschreibung verfügen, dann können Sie die darauf folgenden 2 Zeilen auch einfach weglassen.
Wichtig ist nur, dass diese Datei in einem ASCII-Editor erstellt und bearbeitet wird. Der Upload muss ebenfalls im ASCII-Modus Ihres FTP-Programmes erfolgen, damit die Datei auch für die Suchmaschinen lesbar ist.
Die robots.txt-Datei sollte nicht umbenannt werden und stets im Root-Verzeichnis der jeweiligen Domain verortet sein. Der Pfad zur robots.txt folgt also immer dem Schema: https://www.domain.tld/robots.txt
Wenn man diese URL in den Browser eingibt, dann kann man ebenfalls feststellen, ob der Upload um ASCII-Modus erfolgreich war. Wenn ja, dann können Sie den Inhalt so lesen, wie er im Editor eingegeben wurde ; wenn nein, dann liegt dies daran, dass der Upload im ASCII-Modus fehlgeschlagen ist.
Typische SEO-Fehler durch falsche robots.txt-Konfiguration:
Google gibt in den Suchergebnissen eine Meldung „Die Datei „robots.txt“ auf dieser Website lässt nicht zu, dass eine Beschreibung für das Suchergebnis angezeigt wird.“ aus, wenn der Googlebot durch die robots.txt-Datei von der Indizierung einer Seite oder gar einer ganzen Domain ausgeschlossen wurde. Ob dies irrtümlich oder absichtlich geschehen ist, spielt für Google keine Rolle. Google hält sich 1 zu 1 an die robots.txt-Anweisungen.
Wird die Meldung bei Google angzeigt, so ist dies also kein Irrtum, sondern stets auf die real vorhandenen Einträge zurück zu führen. Ein vermeintlicher Fehler kommt hier erfahrungsgemäß nie vor – wenn anstatt der Beschreibung Ihrer Homepage die o.g. Google-Meldung angezeigt wird, dann sollten Sie schnell handeln. Dies ist ein klares Indiz dafür, dass die robots.txt fehlerhaft konfiguriert ist.
Wenn Sie die Google Mitteilung nicht lösen können, helfen wir Ihnen gerne weiter. Nehmen Sie einfach unverbindlich Kontakt zu uns auf – wir beraten Sie gerne und informieren Sie, wie Sie die akuten SEO-Probleme beheben können.