Les spiders, ou robots, sont les programmes qu'utilisent les moteurs de recherche comme Google pour indexer le contenu de votre site. Il en existe des centaines, mais les plus connus sont Googlebot, Slurp (Yahoo) et MSN Bot.

Connaître leur activité (fréquence de passage, pages indexées...) est essentiel pour appréhender votre stratégie de référencement naturel. Les robots suivent-ils vos liens ? Viennent-ils souvents ?

Les programmes statistiques web basés sur l'analyse des logs du serveur web (comme AWStats ou Webalizer) ne vous apporterons que des informations globales, à l'intérêt limité.

Heureusement, un script gratuit et en français existe pour analyser avec précision l'activité des robots : Robotstats.

Basé sur un marqueur PHP, Robostats est bien plus précis que les logs d'Apache et surtout, connait une liste impressionante de robots. Pour qu'il analyse toutes les pages de votre site, il suffit de le placer dans un fichier que vous incluez dans toutes vos pages (comme votre script de connexion à votre base de donnée par exemple).

L'installation du script n'appelle pas de commentaire particulier pour un utilisateur LAMP. Il suffit de disposer d'une base de donnée MySql et d'un serveur Apache avec PHP.

Une fois installé et après avoir tourné quelques jours, Robotstats nous affiche la liste des visiteurs du soir :

Robotstats - Affichage résumé

Par défaut, le script affiche les stats du jour, mais il est possible d'obtenir des statistiques mensuelles ou hebdomadaires.

En cliquant sur le chiffre entre crochets à droite du nom du robot, on obtient le détail des pages indexées.

Il est également possible de visualiser les liste des robots connus de Robotstats et éventuellement d'en ajouter (pratique si vous testez vous même un spider dans le cadre de votre projet : ravir le leadership de la recherche à Google...).

Mais restons sérieux : la liste est déjà exhaustive et il est improbable que vous ayez droit aux visites de tous ces robots.

Il est également possible d'extraire les données de la base pour une analyse offline, avec Excel par exemple.

En résumé, un script simple et pratique pour ceux qui veulent en savoir plus sur la qualité de leur indexation sur les moteurs de recherche.