Webkruiper

'n Webkruiper (Engels: webcrawler of spider) is 'n sagteware robot wat die wêreldwyde web op 'n metodiese en geoutomatiseerde manier deurblaai. Webkruipers maak gewoonlik 'n lokale kopie van die opgeroepte bladsye om hulle sodoende later te kan verwerk, soos byvoorbeeld om hulle te indekseer vir soekenjins.

Die werkswyse is eenvoudig: die webkruiper begin met 'n lys van URL addresse en besoek hulle een vir een, waarby ál die webskakels wat in die besoekte bladsye voorkom ook aan die lys van addresse toegevoeg word. Op dié wyse kan 'n webkruiper feitlik alle toeganklike bladsye op die internet besoek.

Webkruipers kan bladsye baie vinniger as mense opvra en verwerk, en dit is dus belangrik dat hulle hulself gedra sodat hulle nie die webbedieners wat die webblaaie beskikbaarstel oorlaai nie. Die meeste webkruipers neem die moeite om bladsye van een webbediener nie almal ágter mekaar op te vra maar om hulle oor 'n tydsbestek te versprei om sodoende te verhoed dat die betreffende webbediener oorlaai word.