Jotta sivu voidaan sisällyttää hakukoneiden hakemistoon, hakukoneen hämähäkin (search spider) on ensin löydettävä se. Hämähäkki kuten googlebot seuraa linkkejä sivulta toiselle, kerää tietoa kustakin sivusta ja tallentaa sen hakukoneen hakemistoon. Kun käyttäjä syöttää hakukyselyn, hakukone etsii hakemistostaan olennaisimmat sivut ja näyttää ne hakutuloksissa. Jotta sivu voidaan indeksoida kunnolla, sillä on oltava laadukasta sisältöä ja sen on oltava hyvin linkitetty. Muussa tapauksessa sitä ei välttämättä sisällytetä hakemistoon tai se voi saada huonon sijoituksen. Tämän vuoksi hakukoneiden indeksoinnin ymmärtäminen on tärkeää kaikille, jotka haluavat, että heidän verkkosivustonsa näkyy hakutuloksissa.