Im Web findet man jede Menge Suchmaschinen. Diese werden aber oft mit den sogenannten Webkatalogen verwechselt. Der Unterschied liegt darin, dass eine „normale“ Suchmaschine entweder nur von Hand angemeldete Seiten annimmt, oder Seiten, die durch den sogenannten Suchmaschinen-Robot erfasst wurden, auflistet. Bei einem Webkatalog hingegen muss ein manueller Eintrag erfolgen. Dieser wird dann von einem Administrations-Team überprüft und ggf. indexiert.
Man kann auch die Aufnahme einer Webseite durch Robots verbieten, indem man die robots.txt entsprechend anpasst, oder einfach die Metatags der jeweiligen Seite anpassen.
Indexierung und Metatag Robots
Es gibt unterschiedliche Deklarationsmöglichkeiten für den Metatag Robots:
<meta name=“robots“ content=“index“>
<meta name=“robots“ content=“follow“>
Die angezeigte Seite und alle Folgeseiten werden durch den Robot in die Suchmaschine aufgenommen.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“follow“>
Die Seite wird nicht durch den Robot in der jeweiligen Suchmaschine aufgenommen, aber alle Seiten, auf diese die Seite verlinkt [sofern diese wiederum auf dem selben Webspace bzw. Server liegen] usw.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“nofollow“>
Die Seite wird weder durch den Robot indexiert, noch werden von dieser Seite verlinkte Seiten verfolgt und indexiert.