Eine Website wurde fertiggestellt, eine neue Seite wurde hinzugefügt, ein Seiteninhalt wurde überarbeitet und geht neu online. So weit, so gut. Doch wie gelangen die Inhalte und Seiten nun in den Google-Index beziehungsweise wie können diese nun auch via Suchanfrage bei Google gefunden werden? Ganz einfach, indem der Googlebot ihr Webangebot besucht, die Inhalte abruft, speichert und für die Suchmaschinen Rankings auswertet.
Der Googlebot ist ein Webcrawler, auch unter dem Begriff Spider bekannt, ein Suchprogramm, welches nach algorithmischen Vorgaben das Web nach neuen und aktualisierten Inhalten durchsucht. Er stellt sozusagen die Schnittstelle Googles nach außen hin dar, indem er Webseiten durchforstet und die erhaltenen Daten zur Weiterverarbeitung für die Suchergebnisse zur Verfügung stellt. Die Auswertung dieser Daten und die Zusammenstellung der Suchergebnisse ist ein gut gehütetes Geheimnis und soll hier nur am Rande erwähnt werden.
Wie arbeitet der Googlebot?
Grundsätzlich geht der Googlebot, bestehend aus unzähligen Webcrawlern von Google, nach einem einfachen Prinzip vor: Jede einzelne Webseite hat eine eindeutige Adresse, eine Telefonnummer, wenn man so will, unter der sie erreichbar ist. Der Crawler ist sozusagen das ausführende Organ und erhält den Auftrag eine Seite zu besuchen, die Daten zu speichern und an den Auftraggeber zu senden, der diese analysiert und weiter verarbeitet.
Der Googlebot beziehungsweise ein Crawler kann also eine Seite nur dann besuchen, wenn diese vermerkt wurde und er den Auftrag dazu erhält. Ein Vermerk ist in diesem Zusammenhang ein Link.
Angenommen, eine Seite ist neu und gerade erst online gegangen, so ist sie zunächst Google, dem Googlebot, unbekannt. Sie taucht somit auch nicht in den Suchergebnissen auf. Setze ich nun auf einer anderen Seite, die Google bekannt ist und auch vom Googlebot besucht wird, einen Vermerk, einen Link auf meine neue Seite, dann wird diese über kurz oder lang von Google vermerkt werden. Dem beschriebenen Prinzip zu Folge wird der Auftrag an den Crawler folgen, diese Seite zu besuchen und die entsprechenden Daten zu liefern.
Dem Googlebot bekannte Seiten werden regelmäßig erneut besucht und dahingehend geprüft, ob diese aktualisiert wurden oder noch existent sind. Man kann davon ausgehen, dass wachsende Seiten, die laufend neuen Content produzieren, und Seiten, die hochwertige eingehende Links erhalten, häufiger abgefragt und Google-intern aktualisiert werden.
Interne Verlinkung und XMl-Sitemap
Hat der Googlebot Ihre Website besucht, bedeutet dies nicht, dass alle Teilseiten beziehungsweise Unterseiten ebenfalls indexiert wurden. Auch diese können nur über einen Vermerk / Link wahrgenommen werden. Daher ist zum einen der Aufbau der Seitenstruktur sehr wichtig, zum anderen sollten auch alle Seiten, die gefunden werden sollen, zumindest einmal website-intern verlinkt werden.
Eine gute Lösung dieses Problems stellt darüber hinaus die von Google empfohlene XML-Sitemap dar: Diese liefert dem Googlebot sozusagen ein Inhaltsverzeichnis. Dieses beinhaltet alle Teilseiten, angeführt in Form von Links und kann zudem relevante Seiteninformationen für den Googlebot bereitstellen. Diese Informationen machen etwa Sinn, wenn eine Seite aus dynamischen und anderen, für den Crawler nicht lesbaren, Inhalten besteht.
Möchte man verhindern, dass eine Seite ausgelesen wird, kann dies über klare Befehle an den Googlebot mitgeteilt werden, etwa in Form der „robots.txt“ Datei.
