Zoekmachines crawlen, spideren, oftewel bezoeken alle webpagina’s op het internet. De resultaten worden opgeslagen in de index van een database. Tijdens het bezoeken van een webpagina worden alle links gevolgd die op die pagina staan, tenzij er in de pagina aangegeven is dat links op de webpagina niet gevolgd moeten worden. Dit wordt gedaan met de Meta Tag NOFOLLOW. U kunt tevens aangeven als u de pagina niet geindexeerd wilt hebben. Dat gebeurt met de Meta Tag NOINDEX.
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">
De links die gevolgd worden moeten wel leiden naar een reeds geindexeerde webpagina. Zo niet dan kan de link niet gevolgd worden.
Nu kan het zijn dat nog geen of niet alle pagina's van uw website geindexeerd zijn of dat dat heel lang duurt. Dat kan te maken hebben met het feit dat er weinig links op of naar uw webpagina's zijn. Dit proces valt einigszins te versnellen door uw website aan te melden bij de diverse zoekmachines. Voor Google is het raadzaam een sitemap te maken met al uw url's, of in ieder geval de belangrijkste. Die sitemap kunt u aanmelden bij de webmasterhulpprogramma's in uw Google account.
Het aanmelden houdt niet in dat u ook hoog in de serp's (Search Engine Result Page) staat. Dat hangt af van hoe belangrijk en relevant een zoekmachine uw webpagina vindt. Dat wordt bepaald door een wiskundige formule, het zgn. algoritme van de desbetreffende zoekmachine. Factoren die daar een rol bij spelen zijn de pagerank van uw pagina en de mate van zoekwoord on-page optimalisatie.Meer hierover vindt u op de "Belangrijkste ranking factoren voor zoekmachine Google" pagina.