Spider/ Crawler/ Robots

Spinnen und Kriecher

Spider, Crawler und Robots bezeichnen Programme, die vor allem von Suchmaschinen eingesetzt werden um das World Wide Web zu durchkämmen.

Dabei "wandern" die Programme automatisch entlang der Hyperlinks von einer Site zur nächsten. Neue Webseiten, die noch kaum im Web verlinkt sind, können auch bei einigen Suchmaschinen angemeldet werden, damit der Spider sie schneller findet.

Beim Durchsuchen der Website werden Informationen über die Website gespeichert und später durch Indexierung ausgewertet. Je nachdem wie gut die Seite von der Suchmaschine bewertet wird, wird auch die spätere Platzierung in den Serps mehr oder weniger gut ausfallen.

Die Anzahl der durchsuchten Unterseiten pro "Besuch" des Spiders kann dabei ganz unterschiedlich sein. Ist eine Seite bereits indexiert wird sie, je nach externer Verlinkung, mehr oder weniger regelmäßig von den Spidern besucht. Diese wiederholten Besuche dienen dazu Änderungen zu finden und beispielsweise neue Unterseiten zu indexieren.