Im Web findet man jede Menge Suchmaschinen. Diese werden aber oft mit den sogenannten Webkatalogen verwechselt. Der Unterschied liegt darin, dass eine „normale“ Suchmaschine entweder nur von Hand angemeldete Seiten annimmt, oder Seiten, die durch den sogenannten Suchmaschinen-Robot erfasst wurden, auflistet. Bei einem Webkatalog hingegen muss ein manueller Eintrag erfolgen. Dieser wird dann von einem Administrations-Team überprüft und ggf. indexiert.
Man kann auch die Aufnahme einer Webseite durch Robots verbieten, indem man die robots.txt entsprechend anpasst, oder einfach die Metatags der jeweiligen Seite anpassen.
Indexierung und Metatag Robots
Es gibt unterschiedliche Deklarationsmöglichkeiten für den Metatag Robots:
<meta name=“robots“ content=“index“>
<meta name=“robots“ content=“follow“>
Die angezeigte Seite und alle Folgeseiten werden durch den Robot in die Suchmaschine aufgenommen.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“follow“>
Die Seite wird nicht durch den Robot in der jeweiligen Suchmaschine aufgenommen, aber alle Seiten, auf diese die Seite verlinkt [sofern diese wiederum auf dem selben Webspace bzw. Server liegen] usw.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“nofollow“>
Die Seite wird weder durch den Robot indexiert, noch werden von dieser Seite verlinkte Seiten verfolgt und indexiert.
Zusammenfassung
Suchmaschinen und Webkataloge unterscheiden sich in der Art der Indexierung von Webseiten. Während Suchmaschinen automatisch oder manuell angemeldete Seiten erfassen können, erfordert ein Webkatalog einen manuellen Eintrag, der dann vom Administrations-Team geprüft wird.
Die Kontrolle über die Indexierung einer Webseite kann durch Anpassung der robots.txt oder durch Verwendung spezieller Metatags erfolgen. Diese Tags steuern, wie Suchmaschinen-Robots die Seite und deren verlinkte Seiten behandeln.
Verschiedene Deklarationsmöglichkeiten für den Metatag „Robots“ existieren. Zum Beispiel bestimmt content="index, follow" die Indexierung der Seite und aller verlinkten Seiten, während content="noindex, nofollow" sowohl die Indexierung der Seite als auch der verlinkten Seiten verhindert.
Häufige Fragen und Antworten
Was ist der Unterschied zwischen einer Suchmaschine und einem Webkatalog?
Eine Suchmaschine und ein Webkatalog unterscheiden sich in der Art und Weise, wie sie Webseiten indizieren. Eine Suchmaschine kann automatisch oder manuell angemeldete Seiten erfassen und auflisten. Ein Webkatalog erfordert hingegen einen manuellen Eintrag, der dann von einem Administrations-Team überprüft und indexiert wird.
Wie kann man die Indexierung einer Webseite kontrollieren?
Die Indexierung einer Webseite kann durch Anpassung der robots.txt-Datei oder durch Verwendung spezieller Metatags gesteuert werden. Zum Beispiel kann die Verwendung des Metatags „robots“ mit dem Wert „noindex, nofollow“ sowohl die Indexierung der Seite als auch der verlinkten Seiten verhindern.
Was bedeutet der Metatag Robots mit dem Inhalt „index, follow?
Der Metatag „Robots“ mit dem Inhalt „index, follow“ bedeutet, dass die angezeigte Seite und alle verlinkten Seiten von Suchmaschinen-Robots indexiert werden.