Comment les chercheurs biomédicaux configurent les critères PICO dans Elicit pour automatiser le tri des titres et résumés des revues systématiques

Dans le domaine de la médecine fondée sur les preuves et de la santé publique, les équipes conduisant des revues systématiques (Systematic Reviews) configurent le cadre PICO dans Elicit au sein de son flux dédié Systematic Review (mode Review). Cette démarche traduit la population (Population), l'intervention (Intervention), le comparateur (Comparator) et les critères de jugement (Outcome) en règles de sélection structurées et modulaires. Ce protocole remplace le fastidieux travail de sélection manuelle en double aveugle portant sur des milliers de références par un flux semi-automatisé conforme aux directives PRISMA 2020, documentant chaque recommandation d'inclusion ou d'exclusion par des citations textuelles issues directement du résumé.

L'élaboration d'une revue systématique rigoureuse répondant aux standards Cochrane impose généralement d'examiner entre 3 000 et 10 000 titres et résumés. Afin de neutraliser les biais de sélection, deux évaluateurs indépendants doivent examiner chaque référence en aveugle, ce qui représente des centaines d'heures de travail avant même l'accès aux textes intégraux. Elicit résout ce goulot d'étranglement en réduisant la durée de sélection de 60 % à 80 %, tout en garantissant que les chercheurs conservent l'arbitrage final et la rigueur méthodologique.

1. Prérequis et choix du flux de travail dans Elicit

Elicit propose plusieurs environnements de recherche, comprenant la recherche documentaire générale, la production de synthèses automatisées (Research Reports) et le flux spécialisé de revue systématique (Systematic Review / mode Review). Le paramétrage de critères personnalisés, l'extraction de citations textuelles justificatives et la gestion d'un examen en double insu requièrent un abonnement actif (formules Pro, Scale ou Enterprise).

Avant d'établir les critères d'évaluation, l'équipe de recherche doit disposer des éléments suivants :

• Protocole de recherche enregistré : Enregistrement préalable sur PROSPERO ou Open Science Framework (OSF) précisant les critères d'éligibilité.
• Opérationnalisation des composantes PICO : Décomposition de la question clinique en critères binaires objectifs sans ambiguïté sémantique.
• Stratégie d'acquisition bibliographique : Choix entre la collecte documentaire via le moteur natif d'Elicit ou l'importation de fichiers depuis des bases de données biomédicales spécialisées.

2. Guide d'implémentation : Du protocole PICO aux règles de sélection automatisées

Étape 1 : Initialiser la revue systématique et définir le contexte clinique

1. Accédez à la console Elicit et sélectionnez Systematic Review dans le sélecteur de flux de travail.
2. Saisissez la question de recherche clinique principale dans le champ prévu à cet effet (par exemple : What is the clinical efficacy and safety of GLP-1 receptor agonists compared to SGLT-2 inhibitors in adults with type 2 diabetes and chronic kidney disease?).
3. Développez le champ de texte libre Additional Context sur la page de configuration (Setup). Ce paramètre guide Elicit dans la formulation des critères de sélection. Structurez clairement les éléments selon la nomenclature PICO :
   • Population (P) : Âge minimal, stade clinique confirmé de la pathologie, comorbidités admises et critères d'exclusion stricts (insuffisance rénale terminale sous dialyse ou grossesse).
   • Intervention (I) : Molécules autorisées, classes thérapeutiques, voies d'administration et posologies.
   • Comparator (C) : Groupes témoins acceptés (traitement actif comparateur, prise en charge standard ou placebo).
   • Outcomes (O) : Critères de jugement cliniques principaux et secondaires (déclin du débit de filtration glomérulaire eGFR, protéinurie, événements cardiovasculaires majeurs, mortalité toutes causes confondues et effets indésirables ciblés).
   • Study Design (S) : Devis méthodologiques retenus (essais contrôlés randomisés en groupes parallèles avec suivi minimal de 12 semaines ; exclusion expresse des modèles animaux, des études in vitro, des revues narratives et des rapports de cas).

Étape 2 : Rassembler le corpus documentaire (Stratégie de recherche à double voie)

Elicit permet de constituer le corpus soit en interrogeant son index sémantique interne (plus de 126 millions d'articles via Semantic Scholar), soit en téléversant des fichiers bibliographiques externes.

Dans les revues biomédicales soumises aux directives PRISMA 2020, les équipes ne doivent pas s'appuyer uniquement sur la recherche interne d'Elicit. Des évaluations méthodologiques récentes (telles que les travaux de Lau & Golder en 2025 et de Bernard et al. en 2025) révèlent que, bien que la précision de la recherche native d'Elicit soit remarquable (environ 41,8 % en moyenne), sa sensibilité (exhaustivité) n'atteint que 39,5 % en moyenne. Ce résultat reste très inférieur au taux de plus de 94 % atteint par les documentalistes médicaux exécutant des équations de recherche booléennes exhaustives dans PubMed, Embase et Cochrane CENTRAL.

La méthode préconisée consiste à :

1. Élaborer et exécuter des requêtes booléennes complètes dans PubMed, Embase, Web of Science et CENTRAL avec l'appui d'un spécialiste de l'information médicale.
2. Dédupliquer les résultats dans un logiciel de gestion bibliographique (EndNote, Covidence).
3. Exporter le corpus dédupliqué au format standard RIS ou BibTeX.
4. Dans l'onglet Gather d'Elicit, téléverser le fichier RIS pour alimenter la file d'attente avec l'ensemble des références à trier.

Étape 3 : Paramétrer et calibrer les critères de sélection PICO

Une fois les références chargées, Elicit propose une sélection initiale de critères basés sur le contexte fourni. L'équipe doit éditer ces propositions pour les transformer en colonnes de décision rigoureuses :

Recommandations essentielles :

• Modularité des règles : Ne regroupez pas plusieurs conditions au sein d'une seule règle. Séparez l'âge adulte du stade de la maladie rénale en deux colonnes distinctes pour faciliter l'analyse de sous-groupes dans les populations hétérogènes.
• Règles d'exclusion explicites : Définissez des critères pour écarter formellement les résumés de congrès sans article complet ou les études précliniques.
• Pondération des critères (Importance) : Spécifiez dans l'interface les filtres d'exclusion absolus (sujets humains, devis d'essai clinique) par rapport aux critères secondaires pouvant être confirmés lors de l'examen du texte intégral.

Étape 4 : Lancer le tri automatisé et auditer les citations textuelles

Dès le lancement, Elicit évalue séquentiellement les titres et résumés :

1. Évaluation règle par règle : Pour chaque notice, le système examine chaque colonne PICO et attribue le statut Met (Validé), Not Met (Non validé) ou Uncertain (Incertain).
2. Ancrage textuel (Quote Grounding) : Un clic sur une cellule affiche la phrase exacte du résumé justifiant la décision. Lorsqu'une publication est jugée non conforme pour l'intervention, la mention textuelle de l'association médicamenteuse non autorisée est mise en évidence.
3. Score global et recommandation : Elicit calcule un score de pertinence pondéré et délivre une recommandation globale : Include (Inclure), Exclude (Exclure) ou Review (À vérifier).
4. Filtrage dans le tableau : Il est possible de filtrer les résultats par critère spécifique (par exemple, afficher uniquement les publications où le comparateur est incertain) pour concentrer l'attention sur les cas litigieux.

Étape 5 : Organiser la double évaluation en aveugle et l'arbitrage

La norme PRISMA 2020 exige l'indépendance des évaluateurs. Elicit propose deux modalités d'organisation :

• Modèle A : Un évaluateur humain + Elicit en second évaluateur : Un chercheur procède au tri tandis qu'Elicit intervient en parallèle comme second relecteur indépendant. Le système identifie automatiquement les divergences (par exemple, inclusion par le chercheur mais recommandation d'exclusion par l'IA) qui sont ensuite soumises à arbitrage.
• Modèle B : Double évaluation humaine en aveugle avec priorisation par l'IA : Deux chercheurs évaluent les références sans voir les choix de l'autre. Le score attribué par Elicit permet d'ordonner la file d'attente par probabilité d'inclusion décroissante. Une fois les évaluations terminées, la plateforme lève l'aveugle et affiche le taux de concordance ainsi que la liste des désaccords.

Dans les deux configurations, les chercheurs disposent de la faculté d'outrepasser manuellement chaque suggestion de l'IA (Manual Override). Lors d'une modification, l'évaluateur peut consigner le motif normalisé d'exclusion PRISMA (Population non conforme, Critère de jugement manquant ou Devis inéligible).

Étape 6 : Exporter les données pour PRISMA 2020 et passer au texte intégral

Une fois l'évaluation des titres et résumés achevée, l'ensemble des décisions est exporté :

• Formats disponibles : Fichiers CSV ou Excel contenant les métadonnées bibliographiques, les évaluations détaillées par critère PICO, les extraits textuels cités, l'historique des modifications manuelles et la décision finale.
• Complétion du diagramme de flux PRISMA 2020 : Les données exportées permettent d'alimenter précisément chaque section du diagramme de flux :
  • Nombre total d'articles identifiés dans les bases.
  • Doublons éliminés.
  • Articles examinés sur titre et résumé.
  • Articles exclus détaillés par catégorie de motif.
  • Articles retenus pour l'évaluation sur texte intégral.
• Transition vers l'analyse du texte intégral : Les articles inclus passent à l'étape de sélection sur texte intégral et d'extraction de données. L'extension pour navigateur d'Elicit permet de rapatrier directement les PDF grâce aux abonnements universitaires ou hospitaliers.

3. Performances méthodologiques, données probantes et limites

L'intégration d'Elicit dans une revue biomédicale exige d'appréhender avec lucidité ses points forts et ses contraintes méthodologiques.

Haute précision et variabilité de la sensibilité

Les publications empiriques récentes mettent en évidence deux caractéristiques fondamentales :

• Haute précision (~42 %) : Grâce au ciblage sémantique guidé par PICO, Elicit écarte très efficacement la littérature non pertinente, surpassant largement la faible précision (souvent inférieure à 10 %) observée lors des étapes initiales des recherches manuelles classiques.
• Sensibilité tributaire de la complexité clinique : Pour des essais pharmacologiques standardisés avec des devis d'essais randomisés bien définis, la sensibilité d'Elicit oscille entre 70 % et 94 %. En revanche, pour des interventions complexes en santé publique où les populations sont hétérogènes, la sensibilité décroît si les résumés n'emploient pas explicitement les termes PICO normés.

Surveillance des scores limites (Borderline)

Elicit emploie des seuils numériques pour proposer l'inclusion ou l'exclusion. Les évaluations indépendantes ont montré que des publications situées exactement sur la ligne de partage (comme 4,8 sur une échelle de 5) peuvent subir des variations de classification en fonction de légères variations de pondération. Le protocole de recherche doit donc stipuler : Toutes les références dont le score se situe dans une marge de +/- 10 % autour du seuil d'inclusion doivent impérativement faire l'objet d'une vérification manuelle par les chercheurs.

Cadre RAISE et éthique scientifique

Selon le cadre RAISE (Responsible AI in Evidence Synthesis), les systèmes d'IA ne peuvent assumer de responsabilité scientifique. La force d'Elicit réside dans sa traçabilité appuyée sur des citations textuelles vérifiables. Dans la section Méthodes de leur publication, les auteurs doivent décrire en toute transparence la version d'Elicit utilisée, les requêtes PICO paramétrées, le rôle attribué à l'outil et les procédures de contrôle humain mises en œuvre.

4. Liste de contrôle pour les équipes de revues systématiques

1. Dissocier la recherche de la sélection : Réalisez la recherche primaire exhaustive sur PubMed, Embase et les bases spécialisées, puis importez le corpus dédupliqué dans Elicit ; ne vous reposez pas exclusivement sur le moteur de recherche interne de l'IA.
2. Tester les règles sur 50 résumés pilotes : Avant d'analyser l'ensemble de la base, effectuez un test sur un échantillon pour calibrer les règles PICO et vérifier leur concordance avec le jugement des experts.
3. Auditer les exclusions de façon systématique : Parce qu'un faux négatif (l'omission d'un essai pertinent) altère l'intégrité de la synthèse, contrôlez manuellement tous les cas limites ainsi qu'un échantillon aléatoire d'au moins 20 % des exclusions automatisées.
4. Archiver les décisions horodatées : Conservez les fichiers d'export originaux générés par Elicit afin de disposer d'une piste d'audit complète lors de l'évaluation par les pairs et les comités de lecture.

Références

• Blog | Elicit: AI for research & decision-making
• Comparison of Elicit AI and Traditional Literature Searching in Evidence Syntheses Using Four Case Studies - PMC
• Using artificial intelligence for systematic review: the example of elicit - PMC
• The PRISMA 2020 statement: an updated guideline for reporting systematic reviews - PMC
• Development and evaluation of prompts for a large language model to screen titles and abstracts in a living systematic review - PMC