Eine Volltext Suchmaschine bietet die Möglichkeit einen bestimmten Bereich oder das gesamte Internet nach Dokumenten bzw. Ressourcen zu durchsuchen, die Stichwörter, Wörter oder Phrasen der Suchanfrage enthalten und diese in einem Listing auszugeben. Moderne Suchmaschinen bieten neben der Volltextsuche auch die Suche nach Bildern zu einem bestimmten Stichwort an, ebenso wie Videos oder den Bestand vorhandener Bücher zu einer Suchanfrage.
Wie Suchmaschinen arbeiten
Web-Suchmaschinen arbeiten, indem sie Informationen vieler Web-Seiten abrufen. Eie automatisierter Web-Browser, folgt jedem Link auf einer Webseite. Diese Seiten werden von einem Web-Crawler (auch Spider genannt) abgerufen. Der Inhaber der Webseite kann durch eine robots.txt den Bereich einer Webseite, der von einem Crawler erfasst wird, begrenzen. Die Inhalte der einzelnen Seiten werden dann analysiert, um festzustellen, wie sie indiziert werden sollen. So werden zum Beispiel Wörter aus den Titeln, dem Inhalt, Überschriften oder spezielle Felder wie Meta-Tags extrahiert. Daten über Web-Seiten werden in einer Index-Datenbank für die Verwendung in späteren Abfragen gespeichert.
Eine Abfrage von einem Benutzer kann aus einem einzelnen Wort bestehen. Der Index hilft ihm, die Informationen zu einer Abfrage so schnell wie möglich zu finden. Einige Suchmaschinen speichern alle Quellseiten oder auch nur einen Teil. Dieser Vorgang wird als Caching bezeichnet und trägt zur Verbesserung der Performance bei. Außerdem werden Informationen über die Web-Seiten gespeichert. Andere Suchmaschinen speichern jedes Wort, das sie auf einer Seite finden.
Diese Seite im Cache enthält immer die eigentlichen Informationen. Dies ist besonders dann sehr sinnvoll, wenn der Inhalt einer Seite öfter aktualisiert wird und sich so die Inhalte zum jeweiligen Suchbegriff verändern und der Inhalt nicht mehr die aktuellen Suchbegriffe enthält. Dieses Problem wird als eine leichte Form des sogenannten linkrot (Linkkorruption) bezeichnet. Durch das Caching wird die Benutzerfreundlichkeit erhöht. Außerdem erfüllt es die Erwartung der Benutzer nach einer gewissen Kontinuität der gelisteten Suchergebnisse. Dadurch erhöht sich die Wahrscheinlichkeit, dass im Listing zurückgegebene Seiten relevante Ergebnisse liefern.
Wenn ein Benutzer eine Anfrage an eine Suchmaschine richtet, indem er zum Beispiel ein bestimmtes Schlüsselwort eingibt, prüft der Engine zunächst seinen Index und bietet eine Liste der passenden Webseites nach diesen Kriterien und eine kurze Zusammenfassung der Inhalte, also den Titel des Dokuments und einige Zeilen Text. Der Index enthält die Daten und die Methode, nach der diese gespeichert wurden. Außerdem lässt sich das Suchergebnis nach dem Alter der gesuchten Webseites weiter eingrenzen.
Die meisten Suchmaschinen unterstützen die Verwendung der Booleschen (logischen) Operatoren AND, OR und NOT zur Spezifizierung der Suchanfrage. Boolesche Operatoren sind für wörtliche Suche wichtig und bieten dem Benutzer die Möglichkeit Suchergebnisse zu verfeinern und die Bedingungen der Suche zu erweitern. Der Engine erfasst die Wörter oder Sätze, die der Eingabe entsprechen. Einige Suchmaschinen bieten auch die Möglichkeit die Nähe der Suchwörter zueinander zu berücksichtigen, was einer sogenannten Fuzzy-Abfrage entspricht. Es ist auch konzeptbasierte Suche, die durch die Verwendung statistischer Analysen der Seiten zustande kommt. Auch die Häufigkeit bestimmter Anfragen beeinflusst das Ergebnis. Ausgaben können allerdings immer nur so präzise sein, wie die Anfrage, auf der sie beruhen. Neben der Suche nach Stichworten lassen einige Suchmaschinen auch die Eingabe ganzer Fragen zu, wie man sie zum Beispiel an einen Gesprächspartner stellen würde.
Der Nutzen einer Volltext Suchmaschine hängt von der Relevanz der Suchergebnisse ab, die auf eine Anfrage hin zurückgegeben werden. Natürlich gibt es Millionen Webseites, die einen bestimmten Satz oder ein bestimmtes Wort beinhalten. Dennoch sind einige dieser Seiten, relevanter, populärer oder maßgeblicher als andere. Deshalb verwenden die meisten Suchmaschinen verschiedene Methoden, um die Relevanz einer Site zu ermitteln. Welche Methoden das im Einzelnen sind, ist von Suchmaschine zu Suchmaschine verschieden. Auch haben sich die Methoden zur Ermittlung der Relevanz im Lauf der Zeit verändert. Einige Suchmaschinen arbeiten nach einem System von vordefinierten hierarchisch geordneten Stichworten, das von den Machern der Suchmaschine programmiert worden ist. Die anderen arbeiten nach einem invertierten Index, der durch die Analyse von Texten lokal erzeugt wird.
Die meisten Suchmaschinen sind kommerzieller Art und finanzieren sich durch Werbeeinnahmen. Werbetreibende können ihre Anzeigen gegen eine Gebühr neben den Suchergebnissen anzeigen lassen, wobei die Häufigkeit der Anzeige und der Rang von der Höhe der Gebühr abhängt. Diese wiederum wird durch die Häufigkeit und Relevanz eines Suchwortes bestimmt. Jedes Mal, wenn ein Nutzer auf eine der Anzeigen klickt, verdienen die Suchmaschinenbetreiber Geld.
Kritik
Obwohl Suchmaschinen darauf programmiert sind, Webseites nach Popularität, Relevanz und Rang anzuzeigen, konnte durch empirische Daten verschiedener Studien belegt werden, dass es bei den bereitgestellten Informationen zu politischen, wirtschaftlichen und sozialen Verzerrungen der Ergebnisse kommt. Diese sind hauptsächlich eine unmittelbare Folge der wirtschaftlichen und kommerziellen Prozesse. Wenn zum Beispiel Unternehmen besonders intensiv auf einer bestimmten Suchmaschine werben, dann verbessert sich so auch das Ranking. Außerdem kommt es vor, dass bestimmte Suchergebnisse aufgrund rechtlicher Bestimmungen oder sonstiger Gründe aus dem Index entfernt werden müssen, weil die Inhalte gegen Gesetze des jeweiligen Landes verstoßen. Aber auch das Benutzerverhalten kann sich auf die Ergebnisse auswirken. Außerdem schließen bestimmte Suchmaschinenbetreiber Inhalte bestimmter Art bewusst aus ihrem Index aus. Das sogenannte Bombing (automatisierte häufige Anfragen) ist einer von zahlreichen Techniken, die das Ranking bestimmter Webseites positiv beeinflussen sollen. Andere Techniken wie Link-Building werden inzwischen von einigen Suchmaschinen zuverlässig erfasst