À quoi sert robots.txt ?
Le fichier robots.txt indique aux robots respectueux du protocole les chemins qu’ils peuvent explorer. Il se place à la racine du domaine, dans un fichier texte accessible publiquement. Il ne protège pas un espace privé et ne remplace pas une authentification.
These rules are not a form of access authorization.
Un bon contrôle commence par une réponse HTTP réussie et un type de contenu texte. Recevoir le code de la page d’accueil à l’adresse robots.txt signifie généralement qu’une route de repli a masqué l’absence du fichier. Un navigateur peut donner l’impression que tout fonctionne alors qu’un robot reçoit un document incohérent.
La RFC distingue une ressource indisponible et un serveur injoignable. Une erreur serveur impose un comportement conservateur aux robots conformes. Pendant une maintenance, vérifiez donc le fichier lui-même, et pas seulement l’accueil. Notre audit documente le statut reçu pour faciliter cette distinction.
Quels robots faut-il vérifier ?
Identifiez les agents selon leur fonction : découverte pour la recherche, consultation à la demande ou collecte destinée à d’autres usages. Les politiques d’un opérateur peuvent utiliser plusieurs noms et doivent être consultées à la source.
Le pilier d’accès de notre barème suit cinq agents de recherche : OAI-SearchBot, Googlebot, PerplexityBot, Claude-SearchBot et Bingbot. Le catalogue de l’application contient d’autres agents à titre informatif. Autoriser une fonction de recherche n’est pas une obligation d’autoriser tous les usages de collecte.
La documentation des robots Perplexity explique notamment la fonction de PerplexityBot et publie des adresses IP permettant de vérifier les demandes. L’opérateur indique que ses changements de réglage peuvent demander jusqu’à 24 heures pour être reflétés. Ce délai concerne son système ; il ne vaut pas pour tous les moteurs.
It is not used to crawl content for AI foundation models.
Quel fichier de départ utiliser ?
Un fichier minimal autorise le contenu public, exclut les points d’entrée techniques inutiles à la recherche et déclare le sitemap. Adaptez ensuite la politique des agents à vos choix réels, en vérifiant les règles ajoutées par votre hébergeur.
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://geo-optimizer-pro.integria.app/sitemap.xml
Cet exemple appartient à ce site. Remplacez le domaine avant de l’utiliser ailleurs. Ne copiez pas une interdiction générale sans vérifier l’effet sur les chemins utiles. À l’inverse, n’ajoutez pas une autorisation spécifique pour contourner involontairement une politique d’entraînement décidée par votre organisation.
Les règles spécifiques et les groupes généraux ne se combinent pas toujours comme on l’imagine. Il faut tester l’agent et le chemin, pas seulement chercher son nom dans le texte. Notre méthode explique aussi une limite de l’audit : les points d’autorisation concernent la racine, et ne certifient pas chaque URL du domaine.
Comment contrôler le pare-feu et Cloudflare ?
Testez l’URL publique après le CDN, puis comparez avec la réponse du serveur d’origine. Un statut d’accès interdit, une page de défi ou une redirection inattendue peut empêcher la lecture même lorsque robots.txt l’autorise.
- Contrôlez l’accueil et un guide depuis l’adresse publique.
- Vérifiez robots.txt, sitemap.xml et les fichiers de styles.
- Consultez les événements de sécurité pour comprendre les refus.
- Validez les robots à partir des mécanismes officiels, notamment leurs IP lorsqu’elles sont publiées.
- Limitez une exception de pare-feu aux robots et chemins nécessaires.
- Conservez un contrôle d’accès adapté aux API et aux espaces privés.
Changer simplement le User-Agent d’une requête n’authentifie pas un robot. Ce test permet de détecter certaines règles de filtrage, mais seul le passage réel d’un agent vérifié établit son accès. Une exception globale fondée sur un nom facilement usurpable crée un problème sans fournir de preuve suffisante.
Pourquoi faut-il aussi vérifier le HTML et le sitemap ?
Un robot autorisé doit encore trouver un contenu utile et les adresses des autres pages. Servez les informations essentielles dans le HTML initial et publiez un sitemap composé des URL canoniques qui répondent correctement.
Les interfaces interactives peuvent rester en JavaScript. La présentation du service, les explications et les références peuvent être rendues directement par le serveur. Cette structure aide aussi les visiteurs dont le réseau ou l’appareil retarde le chargement des scripts.
Le fichier llms.txt de ce site fournit un index complémentaire ; la proposition llms.txt de Jeremy Howard le présente comme un format destiné aux agents. Il ne remplace ni les liens HTML ni le sitemap. Contrôlez les trois ressources après chaque évolution des adresses publiques.