Robots.txt, important pour le référencement

robots.txt

Le fichier robots.txt

Droits d’accès à votre site internet : fichier robots.txt

Le fichier robots.txt est important pour le référencement naturel, il permet de définir les droits d’accès aux fichiers, répertoires de votre site internet pour les robots des différents moteurs de recherche (Google, Bing …).

Pour vérifier son contenu, c’est très simple il suffit de saisir l’url de votre site dans votre navigateur suivi de /robots.txt (https://www.monnomdedomaine.com/robots.txt). Le contenu s’affichera à l’écran.

Avec l’utilisation d’un CMS (Prestashop, WordPress, Joomla …), le contenu du robots.txt est souvent généré automatiquement quelquefois avec des modules ou plugins qui ne sont pas à jour.

Vérifiez par exemple que Google a bien accès aux fichiers js (javascript) et css (thème) et que le lien vers votre fichier sitemap est bien présent (Sitemap: https:// …). Le fichier sitemap liste l’ensemble des urls (pages et images) de votre site dans chaque langue active (il doit être mis à jour régulièrement).

Contrôlez régulièrement l’indexation et le référencement de votre site internet et corrigez les erreurs éventuelles !