Vous avez déjà souhaité qu’une partie de votre site soit privé ?
Si oui vous avez probablement demandé à Google de ne pas indexer cette partie de votre site.
Bientôt vous ne pourrez plus demander à Google de ne pas indexer votre page ou votre article de blog en utilisant la technique noindex dans le fichier robots.txt .
Google a annoncé le 2 juillet, qu’à partir du premier septembre 2019, un certain nombre de pratiques non prises en charge et non officiellement documenté par Google ne seront plus supportés par ce dernier. En particulier le noindex dans robots.txt permettant de demander au Googlebot de ne pas indexer une URL.
Pour ceux utilisant noindex dans robots.txt, Google propose quelques alternatives:
- Noindex dans les balises meta robots dans la section <head>
- 404 et 410 HTTP codes statut (vous savez le fameux page not found) informe que la page n’existe pas. Ainsi les urls de ces pages seront désindexées de chez Google
- Protection via un mot de passe: Si vous utilisez wordpress vous avez déjà du voir l’option « protégé par mot de passe » dans l’onglet visibilité. Ce type de page n’est pas indexé par Google
- Disallow dans robots.txt: cette fonction reconnue par Google, bloque l’indexation du contenu de vos pages
- Outil de suppression d’URL: si vous utilisez Search Console vous pouvez temporairement empêcher l’apparition d’une URL déjà indexer de s’afficher dans les résultats de recherche de Google. Néanmoins, ce blocage reste temporaire et ne dure que 90 jours maximum.
Peut-être vous demander vous pourquoi maintenant? Il faut savoir que ce problème,de standardisation du protocole des directives, est une épine dans le pied de Google depuis plusieurs années. Et le fait de voir qu’elle code est le plus utilisé, surtout dans l’utilisation de robots.txt, a permis de faire en quelque sorte un nettoyage de printemps.
Le plus important est d’être sûr que vous n’utilisez pas noindex dans robots.txt avant le 1 Septembre. De plus, les commandes nofollow et crawl-delay sont aussi concerné par cette future mise à jour.