En SEO, on parle souvent de mots clés, de contenu, de balises pour augmenter le nombre de visites sur son site… Mais à quoi bon dépenser de l’énergie à travailler son contenu si celui-ci n’est pas lu ou compris par les moteurs de recherche ? C’est ici qu’entre en jeu l’analyse de logs. Les logs, ce sont ces petits fichiers que les moteurs de recherche (comme Google) déposent sur votre serveur lorsqu’ils passent sur votre site. Ce faisant, ils nous permettent de récolter tout un tas de données qui nous indiquent la façon dont est exploré le site web par ces moteurs de recherche. Mais alors, quels sont les outils qui vont nous permettre de récolter et d’interpréter ce type de données ?
Dans un premier temps, nous utilisons ce que l’on appelle un crawler. Cet outil, assez technique, va nous permettre d’explorer l’ensemble des pages d’un site à la manière d’un moteur de recherche. Ainsi, il est possible de récolter ces pages dans le format que l’on souhaite.
Pour crawler un site, on peut utiliser des outils tels qu’Oncrawl ou encore Screaming Frog, chacun ayant leurs spécificités. Une fois cette première étape réalisée, il faut récupérer tous les fichiers logs sur le serveur du site (sur une période d’au moins 2 mois), qui seront ensuite intégrés dans ces mêmes outils afin d’obtenir l’ensemble des URLs que Google a explorées (ainsi que le nombre de fois où elles ont été visitées sur la période étudiée). Pour rappel, un fichier log contient l’ensemble des informations de votre site.
Mais concrètement, pourquoi faire ? Quel est l’intérêt pour me e-commerce ? D’une manière générale, on se dirige vers ce type d’analyses lorsqu’on détecte un problème d’exploration ou d’indexation sur un site.
Toutefois, nous sommes convaincus qu’il vaut mieux prévenir que guérir en SEO, et que réaliser ce type d’analyse très tôt et de façon systématique ne peut être que bénéfique. Ainsi, vous vous assurez de détecter très vite les problèmes d’exploration dont votre site peut être victime.
Le principal objectif d’une analyse de logs, c’est l’optimisation du budget crawl. Cette notion est au centre de la problématique.
En quelques mots, le budget crawl correspond au « temps » d’exploration que les robots des moteurs de recherche (comme Googlebot par exemple) vont pouvoir allouer à notre site.
Comme dans n’importe quel domaine, le temps c’est de l’argent, et c’est pourquoi les moteurs de recherche vont définir une limite en termes de nombre d’URLs à explorer. A partir de là, de nombreux facteurs vont entrer en jeu. On pense immédiatement aux pages dupliquées, redirigées, supprimées ou bien simplement aux pages non stratégiques qui vont utiliser du budget crawl au dépens de celles qui sont utiles et stratégiques.
L’enjeu devient alors évident : faire en sorte d’optimiser ce budget pour qu’ils allouent leur temps uniquement aux pages sur lesquelles nous souhaitons générer du trafic, et qui sont susceptibles de faire augmenter le chiffre d’affaires.
Voici quelques exemples d’informations que nous allons pouvoir récolter via une analyse de logs et qui seront utiles au SEO :
En couplant ces données à celles du crawl initial, nous pouvons aller plus loin en réalisant des analyses croisées et ainsi :
Pour illustrer notre propos, prenons l’exemple d’un client qui possédait un très gros problème d’indexation sur toute une partie de son catalogue. En effet, sur environ 10 000 produits, seulement la moitié était bien présente dans l’index de Google. Après avoir réalisé une analyse on-page qui aurait pu expliquer le problème, nous n’avons pas décelé de différence particulière entre les pages indexées et celles qui ne l’étaient pas.
Le fait d’avoir toute une partie de son site non indexée a eu un impact considérable sur la visibilité du site sur Google et a par conséquent fait drastiquement diminuer le nombre de visites ainsi que le chiffre d’affaires potentiel.
Nous nous sommes alors tournés vers l’analyse de logs pour tenter de trouver la source du problème. Il nous est très vite apparu que le budget de crawl était très mal utilisé dans l’exploration du site. En effet, quasiment 30% de celui-ci était alloué à des pages supprimées (erreur 404), et presque 10% sur d’autres qui étaient inutiles (redirigées, paramétrées, etc.).
Malgré un nombre de ressources alloué correct, un certain nombre de pages stratégiques n’étaient pas visitées, par faute de temps de Googlebot ou des autres robots. En corrigeant ces problèmes et en réorientant le crawl vers les parties stratégiques du site, l’effet fut immédiat. En moins d’un mois, le nombre de pages produits explorées avait déjà triplé. L’indexation a rapidement évolué dans le bon sens tout comme la visibilité du site.
Mais alors de quelle façon pouvons-nous corriger ce type de blocage ? Le champ d’intervention peut être très large et de nombreux facteurs entrent en jeu. Sur le cas étudié précédemment, nous sommes intervenus sur les codes réponses http que chaque URL doit renvoyer, nous avons effectué des corrections de liens internes, des ajouts de commandes au fichier robots.txt et des corrections sur les fichiers sitemaps envoyés.
Toutefois, le cadre d’intervention peut s’étendre à d’autres éléments techniques du SEO comme les performances, la structure du site, le maillage interne, etc.
Le travail du référenceur dans ces cas-là est d’interpréter correctement les résultats et d’en sortir les recommandations qui s’imposent. Leur mise en place, quant à elles, doivent de préférence être réalisées par un développeur qui connait parfaitement le fonctionnement du site.
Il paraît maintenant évident que les analyses de logs peuvent être véritablement bénéfique pour un site web concerné par des problèmes techniques. Mais autrement, qu’est-ce qu’elle peut nous apporter, et en quoi son utilisation est aujourd’hui indispensable pour travailler son référencement naturel efficacement ?
Et bien tout simplement car celle-ci va nous permettre d’avoir une visibilité et un contrôle quasi total sur ce qu’on souhaite montrer et mettre en avant, comme sur ce qu’on souhaite cacher aux moteurs de recherche.
Au-delà d’une analyse à un instant T pour déceler d’éventuels axes d’amélioration, il est préférable de réaliser un suivi constant de l’exploration sur son site. Pour cela, il suffit d’établir un envoi automatique des fichiers de logs présents sur votre serveur vers Oncrawl ou vers d’autres outils de crawl.
Vous bénéficiez alors d’une analyse au jour le jour de l’exploration de votre site, que vous pourrez voir évoluer au gré des mises en place de vos corrections. Ce faisant, vous avez une visibilité immédiate sur les erreurs qui peuvent potentiellement remonter de chaque page, sur la bonne prise en compte des nouvelles pages créées, sur les performances de votre site, sur les univers privilégiés, et bien d’autres informations clés.
Vous avez ajouté de nouveaux produits à une collection, ou une nouvelle rubrique à votre arborescence ? Vérifiez si celle-ci est rapidement explorée par Googlebot. Vous avez supprimé une partie de votre catalogue ? Vérifiez que celle-ci cesse bien d’être visitée.
Vous subissez des baisses de performances qui augmentent vos temps de chargement ? Analysez directement leur impact sur votre budget crawl. Vous souhaitez mettre en avant des produits pour un évènement en particulier ? Remontez d’un niveau les produits concernés dans votre arborescence et analysez les retombées sur leur taux de crawl.
Chaque optimisation apportée à votre site pourra être ainsi concrètement analysée. Vous ne travaillez plus à l’aveugle, et ne dépensez plus d’énergie sur des choses futiles.
Il est certain que la compréhension de ces données, la détection des problèmes de crawl et le choix des solutions à apporter nécessitent une formation et une expertise en référencement naturel. Non seulement parce que des notions de SEO et des connaissances sur le fonctionnement des algorithmes de Google sont indispensables à l’interprétation des résultats mais surtout parce que certaines corrections, si elles sont mal jugées, peuvent accentuer le problème et ainsi nuire encore davantage au site.
Nous conseillons donc à tout site web ayant pour ambition de développer sa visibilité et son trafic de se tourner vers ce type de pratique. En effet, analyser les logs va permettre de trouver la source de blocages impossibles à détecter autrement. Et même lorsqu’on n’imagine pas être sujet à un problème d’exploration ou d’indexation particulier, vous pourriez être surpris devant le potentiel SEO non exploité de votre site.
Des structures trop profondes, des pages orphelines, tous ces éléments peuvent faire que même si le site s’indexe et se développe correctement, certaines de ses parties restent sous-exploitées et l’empêchent d’être au maximum de son potentiel.
Vous avez besoin d’experts pour faire votre analyse de logs ? Notre agence SEO basée à Paris et à Lyon peut vous aider ! N’hésitez pas à nous contacter.
Vous avez un projet, cherchez des informations précises ou souhaitez simplement échanger avec nous ?
