Le robot du moteur de recherche - également connu comme une araignée ou robot-- "rampe" l'Internet, la lecture de pages Web et la recherche de contenu nouveau et modifié. Pour figurer dans l'index du moteur de recherche, vos pages doivent être explorées. Google et d'autres grands moteurs de recherche ont optimisé leurs robots d'exploration pour trouver du contenu très rapidement de leur propre chef. Ces moteurs de recherche ne pas accepter les notifications directs, dénommé pings. Cependant, vous pouvez alerter un robot à l'existence d'une nouvelle page ou mis à jour.