Mesurer l’impact des LLM sur le trafic de son site : méthodes, outils et checklist d’actions

Pourquoi mesurer sa présence dans les réponses des LLM est devenu urgent

ChatGPT, Perplexity, Claude, Gemini… Ces plateformes ne sont plus des curiosités technologiques : elles sont devenues des points d’entrée pour des millions d’internautes qui posent leurs questions directement à une IA plutôt que de taper une requête dans Google. Le parcours utilisateur est en train de se fragmenter, et une partie croissante de la découverte de marques, de produits ou de contenus se joue désormais dans ces interfaces de chat.

Le problème ? Contrairement à Google Search Console qui vous donne des impressions, des clics et des positions, les plateformes LLM sont des boîtes noires quasi totales. Pas de tableau de bord, pas de métriques natives. Vous êtes cité — ou pas — et vous n’en savez rien.

Pourtant, cette présence compte. Un utilisateur qui découvre votre marque dans une réponse ChatGPT ne clique pas forcément sur un lien à l’instant T, mais il est probable qu’il tape votre nom dans Google quelques minutes plus tard. La visibilité LLM alimente la visibilité Google. Les deux sont liées, et l’une sans l’autre donne une vision incomplète de votre acquisition.

Alors comment mesure-t-on concrètement cette présence ? C’est l’objet de cet article : passer en revue toutes les méthodes disponibles aujourd’hui — des plus simples aux plus techniques — pour que vous puissiez construire votre propre système de mesure.

A lire : Optimisation IA vs SEO classique : ce qui change vraiment pour apparaître dans ChatGPT et les AI overviews

La distinction fondamentale : données lab vs données terrain

Avant de plonger dans les méthodes, il est essentiel de comprendre qu’il existe deux grandes familles de données pour mesurer sa présence dans les LLM. Cette distinction, popularisée par Jérôme Salomon chez Oncrawl, structure toute l’approche de mesure.

Les données lab : simuler pour observer

Les données lab (ou données synthétiques) sont produites en soumettant manuellement ou automatiquement des prompts à des LLM via leur API ou leur interface web, puis en analysant les réponses générées. On pose des questions à ChatGPT, on regarde si votre marque ou votre site est cité, et on compile les résultats.

C’est la méthode la plus accessible, la plus intuitive, celle que beaucoup pratiquent déjà informellement en tapant leur nom dans ChatGPT. Les outils comme Rankability, Otterly.ai, Profound ou encore SE Ranking ont commencé à industrialiser cette approche en permettant de suivre des centaines de prompts en mode automatisé.

Avantages de cette approche : elle permet de benchmarker sa présence face aux concurrents, d’identifier quels types de requêtes génèrent des citations, et d’analyser le sentiment associé aux mentions de votre marque. C’est aussi un excellent outil de veille concurrentielle.

Limites : les résultats sont biaisés par la personnalisation, la localisation géographique, le contexte de la session et le modèle utilisé. Deux personnes posant la même question n’obtiennent pas nécessairement la même réponse. Les données lab ne mesurent pas du vrai trafic, elles projettent ce qui pourrait se passer — pas ce qui se passe réellement.

Les données terrain : mesurer ce qui se passe vraiment

Les données terrain (ou données de champ) proviennent de sources réelles : vos logs serveur, Google Analytics, Google Search Console, Bign Webmaster Tools, vos données de trafic direct. Ce sont des signaux générés par de vraies interactions, pas des simulations.

C’est nettement plus fiable pour mesurer un impact réel, mais c’est aussi plus complexe à collecter et à interpréter. Les deux approches sont complémentaires et non concurrentes : les données lab vous disent où vous êtes visible, les données terrain vous disent si ça génère des résultats concrets.

Méthode 1 : l’analyse des logs serveur, le signal le plus fiable

L’analyse des logs serveur est aujourd’hui la méthode la plus solide pour mesurer l’activité réelle des LLM sur votre site. Elle repose sur un principe simple : quand ChatGPT (ou Perplexity, ou Bing Copilot) veut citer une page dans une réponse, il envoie un bot crawler visiter cette page en temps réel pour en lire le contenu. Ce bot laisse une trace dans vos logs.

Le principe de base : 1 visite de bot IA = 1 citation potentielle. Chaque hit du bot ChatGPT-User dans vos logs représente une tentative de lecture de votre contenu pour alimenter une réponse à un utilisateur. Ce n’est pas une garantie absolue de citation (le bot peut lire sans citer, ou le contenu peut être mis en cache), mais c’est le meilleur proxy disponible à ce jour.

Quels bots identifier dans vos logs ?

Voici les user agents LLM à surveiller en priorité dans vos fichiers de logs :

ChatGPT / OpenAI : ChatGPT-User (bot de citation en temps réel), GPTBot (indexation pour l’entraînement), OAI-SearchBot (moteur de recherche OpenAI)

Perplexity : PerplexityBot

Anthropic / Claude : ClaudeBot, Claude-User

Google : GoogleOther (utilisé pour les AI Overviews), Google-Extended

Microsoft / Copilot : bingbot (historique), Applebot-Extended pour Apple Intelligence

La distinction cruciale est celle entre bots d’entraînement (qui indexent pour former les modèles) et bots de citation en temps réel (qui lisent votre contenu pour répondre à un utilisateur maintenant). Seuls ces derniers indiquent une visibilité active dans les réponses LLM.

A lire : SEO technique, crawl, analyse de logs et bots LLM : le guide actionnable

Comment accéder à vos logs et les analyser ?

Sur un hébergement mutualisé comme O2Switch, les logs sont accessibles directement depuis le cPanel, dans la section « Logs bruts » ou « Awstats ». Vous pouvez les télécharger au format .gz et les décompresser pour les traiter.

Pour une analyse basique, un simple grep en ligne de commande suffit à filtrer les entrées par user agent :

grep -i "ChatGPT-User\|PerplexityBot\|ClaudeBot\|GPTBot" access.log | wc -l

Pour aller plus loin, vous pouvez écrire un script Python qui parse vos logs, segmente par bot, par URL visitée, par période, et génère des métriques d’évolution. Ce genre de script est réalisable en quelques heures et donne des insights qu’aucun outil tiers ne peut vous fournir aussi précisément sur votre propre site.

Des outils spécialisés comme Oncrawl AI Search Lens industrialisent cette analyse, avec du filtrage automatique sur les codes HTTP 200/304 (pages réellement servies), la segmentation par type de contenu et des visualisations temporelles. Pour les sites à fort volume, c’est un investissement qui fait sens.

Les limites à connaître

L’analyse de logs a ses angles morts. Le principal : les LLM utilisent des systèmes de cache. Quand une page a déjà été lue récemment, le modèle peut la citer sans relancer un crawl, ce qui signifie que vous avez une sous-évaluation de votre visibilité réelle. Les redirections (301, 302) et les erreurs (404, 500) empêchent aussi la lecture du contenu et ne génèrent pas de citation, même si le bot les visite.

Méthode 2 : Google Analytics 4, traquer le trafic LLM côté utilisateur

GA4 ne donne pas de métriques LLM natives, mais il contient des données précieuses si vous savez où chercher. L’idée est de croiser plusieurs signaux pour détecter l’empreinte des LLM sur votre trafic.

Surveiller le trafic de référence des domaines LLM

Rendez-vous dans Rapports > Acquisition > Acquisition de trafic, puis filtrez la source / medium sur les domaines des plateformes IA : chat.openai.com, perplexity.ai, claude.ai, copilot.microsoft.com, gemini.google.com, you.com, phind.com.

Attention : ce trafic de référence est structurellement sous-estimé. Quand un utilisateur lit une réponse ChatGPT sur son mobile et clique un lien, l’application ne transmet pas toujours correctement le referrer HTTP. Une partie de ce trafic tombe dans le trafic « direct » de GA4.

Analyser les évolutions du trafic direct et branded

C’est un signal indirect mais puissant. Si votre présence dans les LLM augmente, vous devriez observer une hausse du trafic de marque (requêtes branded dans la Search Console) et potentiellement du trafic direct, car les utilisateurs qui découvrent votre marque via un LLM vont souvent taper directement votre URL ou votre nom dans Google.

Comparez l’évolution de vos clics brandés dans la Search Console avec votre activité de bots LLM dans les logs. Une corrélation positive est un signal fort que votre visibilité IA se traduit en notoriété réelle.

A lire : Recherche de mots-clés comme un pro dans la Google Search Console

Créer un segment GA4 dédié aux sources IA

Dans GA4, vous pouvez créer un segment d’audience ou une exploration personnalisée regroupant toutes les sources LLM connues. Cela vous permettra de suivre ce trafic dans le temps avec un graphique d’évolution mensuel. Pensez à l’annoter avec vos actions d’optimisation pour mesurer l’impact de chaque changement.

Vous pouvez aussi créer un canal personnalisé dans les paramètres de GA4 (« Groupement de canaux ») pour agréger automatiquement tout le trafic provenant des domaines LLM sous un label « AI Search ». Cela simplifie le reporting et rend ce canal visible directement dans vos rapports standards.

Méthode 3 : le prompt testing manuel et automatisé

La méthode la plus intuitive reste de poser des questions directement aux LLM et d’observer si votre site ou votre marque apparaît dans les réponses. C’est la méthode « lab » évoquée plus haut, et elle reste utile malgré ses limites.

Le prompt testing manuel : par où commencer ?

Commencez par constituer une liste de 20 à 50 prompts représentatifs de vos thématiques. Variez les formulations, les niveaux de spécificité et les intentions (informationnelle, comparative, transactionnelle). Testez ces prompts dans ChatGPT (GPT-4o), Perplexity, Claude, Gemini et Copilot.

Pour chaque prompt, notez : votre site est-il cité ? En quelle position ? Quelle formulation est utilisée pour vous décrire ? Qui sont les autres sources citées ? Ces informations sont précieuses pour comprendre comment les LLM vous perçoivent et face à qui vous êtes en compétition.

Un conseil pratique : activez systématiquement la recherche web dans les LLM qui la proposent (ChatGPT avec le mode de recherche, Perplexity par défaut). Ce sont ces configurations qui génèrent du trafic réel vers votre site via les bots de citation.

Automatiser le prompt testing avec l’API

Si vous avez des bases en Python, vous pouvez automatiser ce processus via les API OpenAI ou Anthropic. Le principe : envoyer votre liste de prompts en batch, récupérer les réponses, parser le texte pour détecter les mentions de votre domaine ou de votre marque, et stocker les résultats dans un Google Sheet ou une base de données.

Un script basique de ce type est réalisable en une journée de travail. Il vous permet de tester des dizaines de prompts en quelques minutes et de créer un historique d’évolution. C’est une alternative sérieuse aux outils payants comme Otterly.ai (à partir de ~99$/mois) si vous êtes à l’aise avec le code.

Voici la structure logique d’un tel script :

1. Charger la liste de prompts (CSV ou Google Sheets)
2. Pour chaque prompt : appeler l'API LLM avec web_search activé
3. Parser la réponse : chercher mentions du domaine / brand
4. Scorer : cité (1) ou non (0), position estimée, sentiment
5. Stocker avec timestamp dans Google Sheets
6. Générer un rapport hebdomadaire d'évolution

Les outils tiers de prompt tracking

Si vous préférez une solution clé en main, plusieurs outils émergent sur ce créneau. Otterly.ai et Profound sont positionnés sur le suivi de marque dans les LLM. SE Ranking et Semrush ont tous deux intégré des fonctionnalités de suivi des AI Overviews Google. Ahrefs travaille sur des métriques similaires. Ces outils sont pertinents si vous gérez plusieurs marques ou si vous avez besoin de benchmarking concurrentiel à grande échelle.

Méthode 4 : Google Search Console pour détecter les effets indirects

La Search Console ne mesure pas directement la visibilité LLM, mais elle est un instrument de mesure des effets indirects particulièrement fiable. Deux signaux méritent une attention particulière.

Le premier est l’évolution des requêtes de marque. Si votre nom, votre domaine ou vos produits sont de plus en plus cités dans les LLM, vous devriez voir une hausse des clics et impressions sur vos requêtes branded dans la Search Console. C’est le « halo effect » de la visibilité IA : les utilisateurs découvrent via un LLM, puis recherchent sur Google.

Le second signal est la hausse du CTR sans amélioration de position. Si vos pages apparaissent davantage dans des AI Overviews Google, le CTR organique sur ces pages peut baisser (l’utilisateur obtient sa réponse dans l’aperçu) ou stagner, même si vos contenus sont de plus en plus « reconnus » comme sources de référence. C’est un signal ambivalent qui mérite une analyse fine par segment de page.

Méthode 5 : construire son propre dashboard de suivi LLM

Pour les profils techniques qui veulent avoir une vue centralisée, la construction d’un dashboard maison est une option très puissante. L’idée est de connecter plusieurs sources de données en un seul endroit pour visualiser l’évolution de sa visibilité LLM dans le temps.

Les sources à agréger : logs serveur parsés (activité des bots LLM par URL et par date), trafic de référence GA4 segmenté par domaine LLM, résultats du prompt testing automatisé, données brandées de la Search Console. Avec des outils comme Google Looker Studio (gratuit), Grafana (open source) ou même un Google Sheet bien structuré, vous pouvez créer un rapport hebdomadaire automatisé qui consolide tous ces signaux. Je me suis personnellement construit mon dashboard 100% personnalisé via un script Python pour pouvoir agréger de multiple sources de données et mettre en avant les KPIs spécifiques à chacun de mes projets ou des clients que j’accompagne.

A lire : Création du dashboard SEO personnalisé ultime

Pour les utilisateurs de WordPress avec accès serveur, un script Python planifié en cron job peut automatiquement parser les logs chaque nuit, calculer les métriques clés (nombre de hits par bot, URLs les plus visitées, évolution sur 30 jours) et les pousser dans un Google Sheet via l’API Sheets. Ce genre d’infrastructure légère se met en place en une journée et donne des données qu’aucun outil SaaS ne peut vous fournir de manière aussi personnalisée.

Méthode 6 : les UTM et le tracking de liens cités

Une approche souvent négligée : si vous contrôlez les URLs qui circulent dans l’écosystème LLM (via des articles invités, des communiqués, des profils sur des sites tiers), vous pouvez taguer ces URLs avec des paramètres UTM spécifiques. Par exemple, créer une URL de campagne comme ?utm_source=llm&utm_medium=citation&utm_campaign=chatgpt sur vos pages stratégiques diffusées dans des contextes susceptibles d’être indexés par les LLM.

En pratique, les LLM comme ChatGPT tendent à simplifier les URLs qu’ils citent, donc les UTM ne survivent pas toujours à la citation. Mais cette méthode fonctionne bien pour les trafics venant de newsletters IA, de synthèses automatisées ou de blogs qui sont eux-mêmes indexés par les LLM.

Ce que les données terrain ne peuvent pas (encore) vous dire

Soyons honnêtes sur les limites actuelles de tout ce dispositif. Vous ne pouvez pas connaître les prompts exacts qui ont généré des crawls de vos pages. Vous ne pouvez pas savoir si votre page a finalement été citée dans la réponse finale ou simplement consultée pour être écartée. Vous ne pouvez pas mesurer l’exposition de votre marque dans des réponses LLM qui n’ont pas nécessité de crawl en temps réel (réponses issues uniquement des données d’entraînement).

Ces angles morts sont réels. Mais ils ne doivent pas vous paralyser : les données disponibles aujourd’hui sont déjà suffisantes pour identifier des tendances, détecter des problèmes techniques (pages bloquées aux bots, contenus inaccessibles) et prioriser vos efforts d’optimisation. C’est un domaine qui évolue très vite, et les outils de mesure seront bien plus matures dans 12 mois.

Checklist d’actions à réaliser dès maintenant

Voici les actions concrètes à mettre en place, classées par niveau de facilité d’implémentation :

🟢 Actions faciles — moins d’une heure chacune

✅ Tester sa présence manuellement dans les LLM — Ouvrez ChatGPT, Perplexity et Claude. Tapez 10 requêtes représentatives de votre thématique. Notez si votre site ou votre marque apparaît dans les réponses. C’est votre baseline.

✅ Créer un segment GA4 « trafic IA » — Dans votre GA4, créez une exploration avec filtre sur les sources : chat.openai.com, perplexity.ai, claude.ai, copilot.microsoft.com. Vous avez votre premier dashboard de trafic LLM en quelques clics.

✅ Créer un canal « AI Search » dans GA4 — Dans Admin > Groupement de canaux, créez un canal personnalisé qui regroupe tous les domaines LLM. Vous le verrez dorénavant dans tous vos rapports d’acquisition.

✅ Vérifier votre robots.txt — Assurez-vous que vous ne bloquez pas involontairement les bots LLM. Cherchez des règles Disallow génériques ou des directives ciblant les user agents LLM si vous ne souhaitez pas les bloquer.

✅ Surveiller les requêtes branded dans la Search Console — Filtrez vos données GSC sur votre nom de marque et domain. Créez un graphique de tendance sur 6 mois. C’est votre indicateur indirect de notoriété LLM.

🟡 Actions intermédiaires — quelques heures à une journée

✅ Accéder à vos logs et filtrer les bots LLM — Récupérez vos logs serveur (cPanel O2Switch > Logs bruts), décompressez-les et lancez un grep sur les user agents LLM. Quantifiez les hits sur 30 jours. C’est votre première métrique de visibilité IA.

✅ Construire une liste de 30 prompts de référence — Rédigez 30 questions typiques que votre audience pourrait poser à un LLM. Testez-les, notez les résultats dans un Google Sheet. Refaites l’exercice dans 30 jours pour mesurer l’évolution.

✅ Identifier les pages les plus visitées par les bots LLM — Dans vos logs, extrayez les 20 URLs les plus fréquemment crawlées par les bots LLM. Ce sont vos pages les plus « visibles » dans l’IA. Optimisez-les en priorité : contenu exhaustif, réponses directes, structure claire.

✅ Vérifier que ces pages sont bien accessibles — Pour chaque URL identifiée, vérifiez le code HTTP retourné, l’absence de dépendances JavaScript bloquantes, le temps de réponse serveur. Un bot LLM qui tombe sur une 404 ou une page en timeout ne génère pas de citation.

🔴 Actions avancées — nécessitent des compétences techniques ou un budget

✅ Automatiser le parsing de logs en cron job — Déployez un script Python sur votre serveur qui parse les logs chaque nuit et pousse les données dans Google Sheets. Cela vous donne un historique propre et exploitable sans action manuelle.

✅ Automatiser le prompt testing via API — Utilisez l’API OpenAI ou Anthropic pour tester automatiquement vos prompts chaque semaine et détecter les variations de présence dans le temps. Coût marginal si vous ciblez quelques dizaines de prompts.

✅ Connecter logs + GA4 + GSC dans un dashboard Looker Studio — Construisez une vue centralisée qui consolide vos trois sources de données LLM en un seul rapport. Vous gagnerez un temps considérable dans votre suivi mensuel.

✅ Tester un outil spécialisé (Otterly.ai, Profound, Oncrawl AI Lens) — Pour des budgets à partir de 50-100€/mois, ces outils industrialisent la mesure et vous épargnent le développement maison. Pertinent si vous gérez plusieurs sites ou si vous avez des clients à convaincre avec des rapports soignés.