Google utilise depuis des années le user-agent Googlebot-Mobile pour crawler les versions mobiles des sites internet. C’est un changement qui est aujourd’hui à noter concernant ce UA, et plus exactement une simplification puisque celui-ci est abandonné au profit du générique Googlebot.
C’est ainsi que dans les semaines à venir, 3-4 selon Google, l’ancien user-agent suivant ne sera plus utilisé par les robots du géant de la recherche :
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
C’est la nouvelle chaîne de caractères suivante qui sera utilisée comme user-agent, contenant bien évidemment toujours le mot clé Mobile afin de continuer à rendre identifiable le robot parcourant les sites optimisés pour les appareils mobiles :
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Aucun changement à noter pour le UA du Googlebot classique qui reste identique :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Vous l’aurez compris, c’est le moment de mettre à jour les instructions moteurs de nombreux fichiers tel que le robots.txt et autres scripts, notamment ceux d’analyse d’audience. A titre d’exemple, les lignes suivantes :
User-agent: Googlebot-Mobile
Disallow: /
Sont à remplacer par :
User-agent: Googlebot
Disallow: /
En veillant par contre à ce que vous faites car les directives sont désormais communes aux robots chargés des sites classiques et mobiles.
[…] en début d’année 2014 que la firme de Mountain View annonçait la disparition du user-agent Googlebot-Mobile au profit d’un seul et unique UA. Une simplification qui imposait cependant aux éditeurs de […]