Crawler oder auch Web-Crawler sind automatisierte Programme, die das Internet nach Informationen durchsuchen. Sie werden von Suchmaschinen eingesetzt, um Webseiten auf den Index zu setzen und relevante Informationen auszulesen. Ein Crawler beginnt seine Suche in der Regel auf einer bestimmten Webseite und folgt dann den Links zu anderen Seiten, wodurch ein Netzwerk von durchsuchbaren Inhalten entsteht.
Zuerst werden die Startseiten besucht und analysiert. Daraufhin werden die darin enthaltenen Links auf weitere Webseiten ausgelesen und diese ebenfalls besucht bis das Crawl-Budget aufgebraucht ist. Der Crawler durchläuft so schrittweise die gesamte verlinkte Struktur des World Wide Webs. Während des Crawling-Prozesses werden auch Informationen wie Meta-Daten und Textinhalte erfasst. Dadurch können Suchmaschinen die Relevanz der Webseiten bewerten und die bestmöglichen Suchergebnisse liefern.