Aller au contenu
arfooo. SEO · GEO · SEA Construire ma feuille de route

Allow

Allow est une règle du fichier robots.txt qui autorise un robot à explorer une page ou un dossier. Elle sert surtout à ouvrir une exception dans une zone fermée par la règle Disallow.

Un exemple de fichier robots.txt

User-agent: *
Disallow: /espace-client/
Allow: /espace-client/aide.html

Ici, aucun robot ne doit parcourir le dossier /espace-client/, sauf la page d’aide. Quand deux règles s’appliquent à une même adresse, Google applique la plus spécifique et, à égalité, la moins restrictive.[1] Sans règle, tout est autorisé par défaut : un Allow sans Disallow n’apporte donc rien.

Le fichier doit se trouver à la racine du site : https://www.exemple.fr/robots.txt.

Ce que cette règle ne fait pas

Elle gère l’exploration, pas la présence dans les résultats. Google peut indexer une adresse bloquée si d’autres sites font un lien vers elle. Pour écarter une page, Google recommande la balise noindex ou un mot de passe.[2]

Pourquoi ça compte pour votre site

Une ligne de trop peut fermer tout un dossier aux moteurs. Et le fichier robots.txt ne concerne plus seulement Google : OpenAI, par exemple, distingue OAI-SearchBot pour sa recherche et GPTBot pour l’entraînement de ses modèles.[3] Vous pouvez autoriser le premier et bloquer le second.

Ce qu’il faut faire

  • Lisez votre fichier, à l’adresse /robots.txt de votre site.
  • Utilisez Allow seulement pour une exception à un Disallow.
  • Contrôlez le résultat avec le rapport robots.txt de la Search Console.

Pour approfondir

  1. Google Search Central : comment Google interprète le robots.txt
  2. Google Search Central : introduction au robots.txt
  3. OpenAI : les robots d’exploration

Et pour votre site ?

Passons des définitions
à votre situation.

Nous pouvons approfondir ces questions avec vos équipes et identifier les actions adaptées à votre activité.

Échanger sur mon site Notre agence SEO
Revenir au dictionnaire