Robot.txt et référencement naturel, ce qu’il faut savoir …

Un point extrêmement important en référencement naturel, c’est que rien ne doit indiquer au moteur de recherche, au robot des moteurs de recherche, qu’une partie qui devrait être logiquement référencée ne doit pas l’être… Et pourtant, une erreur est souvent faite !

Je m’explique : il existe un fichier qu’on appelle robots.txt, c’est un simple fichier texte que vous pouvez créer dans n’importe quel éditeur s’il n’existe pas. On le met à la racine du site. Grosso modo, on le met à la racine du serveur sur lequel est votre site.

Si vous avez un site, vous avez donc un serveur FTP, avec un logiciel comme FileZilla que j’utilise régulièrement, qui va vous permettre d’aller dans les dossiers de votre site. À la racine, c’est-à-dire au premier niveau, vous allez trouver ou devoir créer un fichier “robots.txt”. En faisant un clic droit dessus (pour les utilisateurs de FileZilla), un menu s’affiche dans lequel vous allez choisir “Afficher/Éditer”. Le dossier s’ouvre.

• C’est un simple fichier texte qui se décompose ainsi :

• User-agent : *  
• Disallow :  
• Disallow :  
• …

Sur chaque ligne “Disallow”, vous allez spécifier tout ce que vous ne souhaitez pas voir référencé sur votre site Internet. Par exemple, on peut demander à ne pas référencer tout ce qui constitue votre back office, ou un dossier en particulier comme /images/ ou /language/…

Ainsi, certaines parties de votre site que vous ne voulez pas référencer devront être précisées dans ce fameux fichier robots.txt.

Mais vous devez, par contre, absolument vérifier qu’il n’y ait pas une partie fondamentale de votre site, comme par exemple un dossier qui contiendrait des images importantes, ou un dossier primordial, qui soit indiquée dans ce document-là, interdisant alors son référencement. Sinon, vous allez vous demander pourquoi votre site a du mal à bien se positionner sur Google, et ce sera justement parce que vous avez dit au moteur de recherche de ne pas le faire. Vérifiez donc bien le robots.txt pour vous assurer qu’il n’y ait rien qui interdise au robot de référencer les parties importantes de votre site.

Cet article est extrait de la formation sur le référencement naturel. Cliquez ici pour télécharger cette formation.