Vous êtes vous déjà posé la question de savoir pourquoi certains sites payants apparaissent bien classés dans les résultats de recherche de Google, alors qu’il est obligatoire de s’inscrire pour y accèder ? Normalement, il ne devraient pas être bien classés puisque leur contenu est protégé par un mot de passe.
Seulement voilà : les webmasters ont tellement besoin de Google pour acquérir du trafic… qu’ils laissent passer son robot gratuitement !
Il suffit donc de se « déguiser » en robot Google pour y accéder sans créer de compte.
Pour ce faire, il faut changer votre « User Agent ». Il s’agit d’une chaîne faisant partie de chaque requête http et qui indique votre navigateur et sa version. Essayez ce site pour voir à quoi ça ressemble.
Changer d’User Agent est très simple avec le navigateur Opera. Il suffit d’utiliser ces réglages.
User Agent: Googlebot/2.1 Compatible: http://www.googlebot.com/bot.html
Pour Firefox, il faut utiliser cette extension, puis télécharger cette liste qui contient une longue liste d’User Agents de divers robots, y compris Google bien sûr.
J’espère que cette astuce vous rendra service 
Ces billets pourraient aussi vous intéresser :
- Le spamdexing : attention, jeu dangereux…
- Flash Earth : comparez les cartes des principaux sites de géolocalisation
- Contourner la protection WGA de Windows XP grâce à… Microsoft
- Robotstats :tout savoir sur l’activité des spiders sur votre site
- Proxee : surfez sur les sites bloqués par votre patron