De façon complémentaire aux annuaires qui travaillent à recenser les sites, les moteurs de recherche effectuent, quant à eux, un travail approfondi pour répertorier les pages à l'intérieur de ces sites, via l’utilisation de robots d’indexation.