Crawler

Crawler sind Computerprogramme, die automatisch das Internet nach bestimmten Inhalten durchsuchen. Sie finden hauptsächlich Verwendung in Suchmaschinen, um Webseiten zu erfassen, und werden in diesem Kontext auch Searchbots genannt. Dabei startet der Crawler auf einer beliebig ausgewählten Webseite und folgt den dort integrierten Hyperlinks, um von Webseite zu Webseite zu gelangen. Die hierbei aufgerufenen Webseiten nimmt der Crawler in einen Index auf, damit diese bei bestimmten Suchbegriffen in den Ergebnissen erscheinen.

Darüber hinaus werden Crawler ebenfalls eingesetzt, um E-Mail-Adressen und Informationen für Preisvergleichsportale zu sammeln und um die Performance von Webseiten zu analysieren.