Comment
Trackbusters maîtrise t'il le cycle des passages (indexation)
des moteurs de recherche ?
Chaque
moteur utilise sa propre technologie, et chaque technologie est
utilisée avec ses propres critères et algorithmes
d'indexation.
Ainsi on constate qu'une occurrence trouvée sur Yahoo,
et qui vous place en 1ère position sur la première
page, ne donne pas forcément le même résultat
sur Google ou Alta Vista.
Ces observations quotidiennes des moteurs de recherche nous ont
permi de mesurer avec précision les fréquences d'indexation
des moteurs via leurs robots
(bots, crawlers, ou spiders); une observation indispensable pour
le référencement
web...
Un
robot est un programme
utilisé par les moteurs de recherche, permettant de scruter
l'intégralité des Sites présents sur Internet.
Les résultats qu'ils enregistrent sont simplement gigantesques...(plus
de 3 milliards de pages pour Google).
Il est possible de programmer les robots afin qu'ils n'indexent
pas certaines parties de votre Site, en créant un document
texte intitulé robot.txt (comportant l'instruction no follow).
Certains utilisateurs placent au contraire ce fichier à la
racine des répertoires de leurs sites pensant que cela favorisera
le passage des moteurs.
Si les robots ne rencontrent pas le fichier robots.txt, ils indexent
simplement l'intégralité de votre Site...
Saviez-vous
que.....?
Les moteurs de recherche n'utilisent plus les meta tags pour indexer
un Site Web