Silently

noindex et Disallow — la panne de référencement la plus coûteuse

Un fichier robots.txt de recette parti en production, ou une balise noindex oubliée, font disparaître un site des résultats de recherche en quelques semaines. Sans aucune alerte.

Deux mécanismes différents, souvent confondus

robots.txt contrôle l’exploration

User-agent: *
Disallow: /

Ce fichier demande aux robots de ne pas parcourir le site. Il ne demande pas de le désindexer : une page déjà connue peut rester dans les résultats, affichée sans description, parfois pendant longtemps.

La balise noindex contrôle l’indexation

<meta name="robots" content="noindex">

Ou son équivalent en en-tête HTTP :

X-Robots-Tag: noindex

Celle-ci demande explicitement de retirer la page des résultats. C’est la plus radicale des deux, et la disparition est effective en quelques jours à quelques semaines.

Le piège : les deux ensemble

C’est le scénario qui coûte le plus cher, et il est contre-intuitif.

Si vous ajoutez noindex sur une page et que vous bloquez son exploration dans robots.txt, le robot ne peut pas lire la page, donc il ne voit jamais la balise noindex, donc il ne désindexe pas. Vous obtenez exactement l’inverse de ce que vous vouliez.

Pour désindexer une page : laisser l’exploration ouverte et mettre noindex.

Pourquoi cela arrive si souvent

Un environnement de recette est protégé par un Disallow: / et un noindex généralisés — c’est la bonne pratique. Le jour de la mise en production, le déploiement copie l’ensemble du site, y compris ce fichier et cette configuration.

Le site fonctionne parfaitement. Les visiteurs qui connaissent l’adresse arrivent normalement. Rien dans l’interface d’administration n’indique quoi que ce soit. Et le trafic issu des moteurs de recherche s’effondre sur trois à six semaines, généralement attribué à une mise à jour d’algorithme avant que quelqu’un ne pense à regarder.

C’est la définition même d’une panne silencieuse, et c’est pour ce genre de cas que Silently surveille au changement plutôt qu’au symptôme.

Ce qu’il faut vérifier après chaque mise en production