Die Sitemap gilt als wichtiger Bestandteil einer Webseite, die in erster Linie der SEO dient und viele der Unterseiten mit URL listet. Somit ist die Sitemap, im Englischen auch Site Map, eine Liste der Seiten einer Webseite, die für Crawler oder Nutzer öffentlich einsehbar bzw. zugänglich ist. Es kann entweder ein Dokument oder eine eigene Web-Seite als Sitemap infrage kommen. In der Regel ist das Dokument bzw. die HTML-Seiten mit den gelisteten Urls hierarchisch organisiert. Neben den Kategorien, welche für den Aufbau einer Webseite zuständig sind, werden in der Sitemap auch bestimmte Media- und Newsbereiche, Community-Elemente, Bloginhalte und Kontaktmöglichkeiten sowie ein Link zum Impressum gelistet. Sitemaps sind im Internet häufig als Sitemap-Protokolle vorzufinden und werden auch als solche bezeichnet. Ein solches Protokoll wurde aus der Idee heraus, crawlerfreundliche Webseiten zu erstellen, gegründet. 2005 entwickelte Google die erste Sitemap-Technologie.
Die zwei Versionen von einer Sitemap
Es gibt zwei gängige Versionen von einer Sitemap. Eine XML-Sitemap ist ein strukturiertes Format, dass der Webseitebetreiber und Besucher nicht zu sehen bekommt. Diese Version kommuniziert praktisch nur mit den Crawlern der Suchmaschinen. Diese können dadurch erkennen, welche Wichtigkeit eine einzelne Unterseite aufweist, wie viele Besucher sie anklicken und wie oft sie aktualisiert wird. XML ist ein Dokument, das eine spezielle Struktur und Codierung verwendet. Die Codierung gilt auch als Standard für Webcrawler, um Sitemaps zu analysieren und zu finden. Die zweite Version ist die HTML-Sitemap. Diese soll dem Benutzer helfen, die Inhalte auf der Webseite besser zu gestalten. HTML-Sitemaps müssen nicht jede Unterseite erfassen. Sie hilft auch Besuchern und Suchmaschinen-Bots Inhalte auf einer Webseite zu finden und ist daher öffentlich zugänglich, etwa über einen Verweis auf der Startseite oder einen Eintrag im Menü der Webseite. HTML-Seiten geben im Gegensatz zu den XML-Versionen das Design der Webseite an. XML-Seiten sind wiederum weiß und weisen keine CSS-Inhalte bzw. HTML-Codes auf. XML ist zudem viel genauer als eine HTML-Codierung. Fehler werden nicht geduldet, wodurch die Syntax stets genau ist.
Ursprung, Zweck und Bedeutung einer Sitemap
Im Jahr 2005 führte Google Sitemaps ein, um Web-Entwicklern die Möglichkeit zu geben, Listen von Links ihrer Webseites zu veröffentlichen. Der Grundgedanke ist, dass einige Webseiten eine Vielzahl von dynamischen Seiten aufweisen, die nur aufgrund von Besucherinhalten wie Foren existieren. Die Sitemap-Datei enthält Urls zu diesen Seiten, sodass Webcrawler sie finden können. Die großen Suchmaschinen – Bing, Google, Yahoo und Ask – nutzen allesamt gemeinsam ein Sitemap-Protokoll, was es Webseitenbetreibern natürlich vereinfacht, sich an die Vorgaben und Beschränkungsrichtlinien, die weiter unten gelistet sind, zu halten. Sitemaps können jedoch nicht garantieren, dass alle Links gecrawlt werden, und übernehmen auch keine Garantie für die Indizierung. Allerdings ist eine Sitemap immer noch die beste Versicherung, um einer Suchmaschine mitzuteilen, dass die eigene Webseite existiert und sich vergrößert bzw. neue Inhalte bietet.
Die Beschränkungen bei der Sitemap
Es gibt einige Beschränkungen, auf die man im Rahmen der Verwendung einer Sitemap achten sollte. So ist es nicht erlaubt, mehr als 50.000 Urls, die auf Inhalte der Webplattform verweisen, in der Sitemap zu listen. Hat man mehr Inhalte, muss man manche herausstreichen bzw. nur die wichtigsten in die Sitemap aufnehmen. Eine weitere Beschränkung bezieht sich auf die Größe der Sitemap. Diese darf nicht mehr als 10 MB bzw. 10.485.760 Byte aufweisen. Auch bei der Verwendung von komprimierten Webseites muss auf diese Obergrößengrenze geachtet werden. Man kann jedoch die Beschränkungen umgehen, indem man einfach mehrere Sitemaps nutzt. Die Haupt-Sitemap verweist auf alle anderen Sitemaps, wodurch man insgesamt theoretisch 2,5 Milliarden Urls in sein Sitemap-Protokoll aufnehmen kann.
Sitemap und Robot.txt
Webseitenbetreiber nutzen in der Regel eine Robots.txt-Datei. Diese Datei gilt als Befehlshaber von Crawlern. Sie gibt mit Kommandos an, welchen Seiten und Dateien von den Suchmaschinen-Bots registriert und aufgesucht werden können. Dadurch übt man einen großen Einfluss auf die Indexierung von Webseiten auf. Man kann etwa bestimmen, dass Crawler bestimmte Bilder nicht in die Bildersuchmaschinen von Google und Co. implementieren dürfen. Auch wertvolle, aber öffentlich zugängliche Inhalte, die nicht alle Welt täglich begutachten soll, kann man so von einer Indexierung bei Suchmaschinen ausschließen. Da die Sitemap für eine Webseite keinen großen Mehrwert hat, ist es sehr ratsam, sie ebenfalls von der Suchmaschinenindexierung auszuschließen. Im schlimmsten Fall verschlechtert sich aufgrund der reinen Ansammlung von Links sogar die Reputation, die man bisher bei Google und anderen Suchmaschinen genossen hat.
Sitemap nutzen und einbauen
Wer Erfahrung mit dem Codieren von Webdokumenten hat, kann per einfachen Codeschnipsel eine Sitemap erstellen und auf den Server, auf dem sich die Webseite befindet, hochladen. Dies gelingt auch mit den sogenannten Content Management Systemen. Allerdings sind diese eher für Laien gedacht, die ohne großen Kenntnisse Webplattformen aufbauen möchten. Diese Personengruppen haben die Möglichkeit, sogenannte Plug-ins zu nutzen und mit diesen eine Sitemap per Mausklick zu installieren. Dabei ergibt sich der Vorteil, dass man auch das genaue Design und die Inhalte, die in der Sitemap vorzufinden sind, ohne großen zusätzlichen Codeaufwand kreieren bzw. auswählen kann. Sowohl für WordPress als auch für Joomla, Drupal und andere Content Management Systeme findet man solche Plug-ins, die eine Sitemap bereitstellen können. In Hinsicht auf das Sitemap-Protokoll ist zudem anzumerken, dass die Plug-ins, die bei den Content Management Systemen in der Regel verwendet werden, eine automatische Begrenzung von 50.000 Urls aufweisen.