Webcrawler

Webcrawler sind Programme, die automatisch und kontinuierlich das World Wide Web durchsuchen und Webseiten nach bestimmten Regeln analysieren. Die Webseiten werden später durch die Indexierung in den Suchmaschinen erfasst. Durch das Scannen der Webcrawler können die Suchmaschinen die Internetseiten später anhand der eingegebenen Keywords  auflisten. Die Webseiten werden entweder zuvor eigenständig oder später durch einen Webcrawler bei den Suchmaschinen registriert. Die Webcrawler erfassen neue Webseiten unter anderem durch Links von anderen, bereits erfassten Seiten. Es gibt verschieden aufgebaute Webcrawler, die Bezeichnungen wie „Robot“, „Bot“, „Crawler“ oder „Spider“ tragen.