Identifier et corriger les URL indexables non-indexées avec Screaming Frog

L’un des défis majeurs auxquels tout consultant SEO est confronté n’est autre que l’indexation. Or, il s’agit par défaut de la première étape d’un projet d’optimisation du référencement naturel. En outre, c’est la base ! Si une URL considérée comme stratégique à la fois pour le SEO et, plus globalement, pour le business, n’est pas répertoriée dans l’index de Google, ni d’ailleurs celui des autres moteurs de recherche, elle n’a aucune chance d’y devenir suffisamment visible pour générer du trafic organique qualifié. L’indexation ainsi que le crawl doivent donc être maîtrisés. Mais, comme je l’évoquais précédemment, ce n’est pas toujours évident puisque Google présente de sérieuses lacunes sur ce point, d’autant plus depuis quelques mois.

Une page a priori indexable peut en effet se retrouver bloquée sans raison apparente. Pallier ce problème peut vite devenir un vrai casse-tête, en particulier pour toutes celles et ceux qui gèrent le SEO de « gros » sites. Bien sûr, des données relatives à l’état de l’indexation des pages sont partagées par le moteur, et ce, dans la Google Search Console. Cependant, ces données ne sont pas toujours exhaustives ni actualisées.

C’est là que Screaming Frog entre en jeu !

Vous le savez, Screaming Frog fait partie de mes outils SEO préférés. Je l’utilise depuis que je suis tombé dans la marmite du référencement naturel, ou presque. Indispensable selon moi pour réaliser un audit technique digne de ce nom, et bien plus encore, la célèbre grenouille a le grand avantage d’être ultra-réactive. Ainsi, elle n’a mis que quelques jours à intégrer l’API d’inspection d’URL de la Search Console. Je vous rappelle que celle-ci a été déployée officiellement par Google le 31 janvier 2022 et que Screaming Frog a été mis à jour en conséquence le 3 février 2022. J’en profite pour féliciter les équipes du support qui œuvrent quotidiennement à en faire LE logiciel SEO de référence.

Vous l’aurez compris, depuis maintenant plus de deux ans, il est possible d’obtenir l’état de l’indexation des pages d’un site ainsi crawlé avec Screaming Frog.

Identification des URL non indexables

Pour cela, vous devez évidemment avoir accès à la propriété Search Console correspondante et disposer des droits suffisants pour y connecter l’outil.

Pour ce faire, cliquez sur « Configuration » dans le menu principal de Screaming Frog puis, dans « Accès à l’API », sélectionnez « Google Search Console ».

Vous devriez voir apparaître un bouton « Sign in with Google ».

Cliquez dessus. Ensuite, choisissez le compte Google auquel est rattaché la propriété du site que vous souhaitez analyser. Dans le cas échéant, renseignez le nom d’utilisateur et le mot de passe pour vous y connecter.

Acceptez les conditions d’utilisation en cliquant sur « Continuer ».

Vous pouvez alors quitter votre navigateur et revenir dans Screaming Frog.

Assurez-vous d’avoir opté pour la bonne propriété si vous en savez plusieurs de disponibles.

Allez ensuite dans l’onglet « Inspection d’URL » et cochez la case « Activer l’inspection d’URL ».

Voilà, vous pouvez à présent lancer le crawl de votre site et identifier notamment chaque « URL indexable non indexée » dans Google.

ATTENTION : Google impose une limite quotidienne de 2000 appels à son API. Vous pouvez scinder vos analyses par silo pour contourner ce quota.

Correction des problèmes d’indexation

Désolé de vous apprendre que vous n’avez parcouru que la moitié du chemin. Après avoir identifié les URL problématiques, vous allez devoir les corriger. C’est là que les choses sérieuses commencent !

Tout l’art de la correction passe par la compréhension de la ou des raisons du blocage. Etant donné que Google ne vous expliquera jamais pourquoi une URL indexable n’est pas indexée, je vous conseille de procéder par élimination en portant votre attention sur :

1. Le contenu de la page : est-il unique et de qualité ? Voilà assurément la question à se poser d’emblée dans cette situation. Autant dire que si vous avez généré votre contenu avec ChatGPT ou tout autre IA, vous pouvez effectuer une repasse manuelle, voir le réécrire intégralement. Si au contraire vous l’avez rédigé vous-même avec tout votre amour, pour répondre comme il se doit à l’intention de recherche, alors enrichissiez-le de données actualisées et/ou contentez-vous d’en modifier la structure. Parfois, le simple changement d’un titre suffit à corriger le problème.
2. Le maillage interne : votre page est-elle orpheline ou, tout du moins, correctement maillée ? Il se peut effectivement qu’elle n’ait pas suffisamment de poids. Dans ce cas, poussez-la depuis d’autres pages qui elles en ont, à commencer par la home, ne serait-ce que temporairement, le temps que les choses rentrent dans l’ordre. Aussi, vérifiez qu’elle est bien présente dans votre sitemap.xml.
3. Les backlinks : je n’ai encore jamais rencontré ce cas de figure mais il n’est pas à exclure qu’une page pourtant indexable demeure absente de l’index de Google à cause d’un ou plusieurs liens entrants de mauvaise qualité. Utilisez un outil d’analyse de backlinks tel que Majestic SEO ou Ahrefs pour lever le doute. A l’inverse, vous pourriez avoir intérêt à pousser votre page à l’aide de quelques backlinks pour forcer Google à la crawler puis l’indexer. Passez au préalable par les étapes 1 et 2. En outre, cette technique n’est à utiliser qu’en dernier recours et avec parcimonie.

Articles similaires :

Les meilleurs outils SEO de 2024