Hoe crawlt doorzoekt Google websites en webpagina’s?

Google gebruikt de informatie op uw website om te bepalen waar inhoud relevant is en hoe relevant de inhoud is. De eerste stap in dit proces is het achterhalen welke pagina’s er daadwerkelijk op het web bestaan. Hoewel er geen centraal archiefsysteem is van alle webpagina’s online, heeft Google zijn eigen index en is voortdurend op zoek naar nieuwe pagina’s om toe te voegen – dit proces van het ontdekken van nieuwe pagina’s staat bekend als crawlen.

Sommige pagina’s zijn bekend bij Google omdat ze al eerder zijn gecrawld. Nieuwe pagina’s worden echter niet zo gemakkelijk herkend en zullen meestal op een van de volgende twee manieren worden ontdekt:

• Google volgt een link van een bekende pagina naar een nieuwe pagina
• Een website-eigenaar heeft een lijst met pagina’s (zijn sitemap) indient om door Google te laten crawlen

Zodra een pagina is ontdekt, zal Google proberen te begrijpen waar de pagina over gaat. De inhoud wordt geanalyseerd, afbeeldingen worden gecatalogiseerd en video’s worden bestudeerd, om een idee te krijgen van de bedoelingen van de pagina en waar deze relevant is. Dit proces staat bekend als indexeren.

De verzamelde informatie wordt opgeslagen in de index van Google – een enorme opgeslagen databank.

Meer FAQ over Google bots