GPTBot, ClaudeBot, Google-Extended : quels robots d'IA laisser entrer ?
Bloquer l'entraînement des IA sans disparaître de leurs réponses, c'est possible. Les robots à connaître, un robots.txt type, et ce que vaut vraiment le fichier llms.txt.
Trocly, le site de petites annonces que nous éditons, sert de terrain d'essai : données publiques, pages qui se citent, robots d'IA triés un par un. Ce que nous avons mis en place.
Trocly est un site français de petites annonces : dépôt gratuit pour les particuliers, aucune commission sur la vente. Il est édité par Elite Coding. C'est notre propre produit, et c'est là que nous testons en conditions réelles ce que nous recommandons à nos clients en référencement, sur Google comme dans les assistants d'IA.
Un site d'annonces part avec un handicap : des milliers de pages qui se ressemblent, un contenu qui change tous les jours et des concurrents installés depuis vingt ans. Voici les choix qui ont structuré le projet.
Une partie des annonces de Trocly ne sont pas déposées sur le site. Les offres d'emploi viennent de France Travail, certaines voitures d'occasion viennent d'eBay. Chaque annonce importée est signalée comme telle sur sa page, et le contact se fait sur le site d'origine.
Ce n'est pas qu'une question d'éthique. Un moteur de recherche, comme un assistant d'IA, doit pouvoir comprendre qui produit quoi. La page « À propos » indique l'éditeur, le nombre d'annonces par provenance, la modération et le financement. Une charte éditoriale et une page qui explique l'ordre d'affichage des annonces complètent le tout. Ce sont des signaux de confiance qu'un algorithme peut lire.
Pour être cité, il faut avoir quelque chose à dire. Trocly calcule des prix immobiliers au m² par code postal à partir de la base publique DVF (les ventes enregistrées par la DGFiP) : prix médian, nombre de ventes, période couverte, évolution sur un an quand elle est significative.
L'Observatoire Trocly rassemble ces séries, avec le prix médian demandé des voitures d'occasion par marque. Chaque chiffre est accompagné de :
La page est décrite avec les données structurées Dataset de schema.org. Une donnée chiffrée, datée et sourcée est exactement le type de passage qu'un moteur génératif aime reprendre.
Plutôt qu'une page générique « Véhicules », Trocly propose des pages qui répondent à une intention : vendre sa voiture gratuitement, acheter une voiture d'occasion entre particuliers, déposer une annonce immobilière gratuite. Chacune commence par la réponse, liste les documents obligatoires et renvoie vers les sources officielles (service-public.fr notamment).
Même logique pour les pages par marque et par modèle : elles affichent un prix médian, et le prix médian par année-modèle seulement quand au moins trois annonces partagent la même année. En dessous de ce seuil, le chiffre serait trompeur ; nous préférons ne rien afficher.
Le fichier robots.txt de Trocly distingue deux familles de robots :
Le fichier déclare aussi une ligne Content-Signal: search=yes, ai-input=yes, ai-train=no, qui exprime la même règle en une phrase. Nous détaillons cette mécanique dans notre article sur les robots d'IA.
Trocly publie un fichier llms.txt : un résumé du site en Markdown, avec les pages clés et le nombre d'annonces en ligne par provenance, recalculé automatiquement. Google n'en a pas besoin. Il ne coûte presque rien, et il évite qu'un assistant d'IA décrive le site avec des informations périmées.
Un site d'annonces crée et retire des pages en permanence. Trocly envoie ses nouvelles adresses par IndexNow, le protocole utilisé notamment par Bing, dont l'index alimente aussi Copilot. Les annonces expirées répondent par un code 410 Gone plutôt que par une erreur 404, ce qui indique clairement aux robots qu'elles ne reviendront pas.
L'estimation de voiture produit une fourchette de revente avec une IA à partir de la marque, du modèle, de l'année et du kilométrage. Elle est présentée comme indicative. Pour l'immobilier, l'estimation ne passe pas par une IA : elle est calculée sur les ventes DVF du code postal, parce que des données réelles existent. On n'utilise l'IA que là où elle apporte quelque chose.
Trocly tourne sur Symfony 7.4 et PHP 8.4, avec Turbo et Stimulus pour la navigation et Vue 3 pour la recherche filtrée. Le contenu important est rendu côté serveur : un robot qui n'exécute pas JavaScript, ce qui est le cas de la plupart des robots d'IA, lit la page complète.
Vous voulez appliquer ces principes à votre site ou à votre application Symfony ? C'est le cœur de notre travail.
30 minutes pour comprendre votre besoin et vous dire franchement ce qui est faisable.