Wie biomedizinische Forschende PICO-Kriterien in Elicit für das halbautomatische Titel- und Abstract-Screening systematischer Übersichtsarbeiten konfigurieren

In der evidenzbasierten Medizin und der klinischen Epidemiologie konfigurieren Forschungsteams für systematische Übersichtsarbeiten (Systematic Reviews) das PICO-Framework in Elicit über den dedizierten Workflow „Systematic Review“ (Review-Modus). Hierbei werden Population (P), Intervention (I), Kontrollgruppe (Comparator, C) und klinische Endpunkte (Outcomes, O) in strukturierte, regelbasierte Prüfkriterien übersetzt. Dieses Verfahren ersetzt das manuelle Doppelblind-Screening von Tausenden Publikationen durch einen teilautomatisierten, PRISMA-2020-konformen Ablauf, der jede Ein- und Ausschlussentscheidung mit satzgenauen Zitaten direkt aus dem Abstract belegt.

Die Erstellung einer Cochrane-konformen Übersichtsarbeit erfordert in der Regel das Screening von 3.000 bis 10.000 Titeln und Abstracts. Zur Vermeidung von Selektionsverzerrungen verlangen methodische Leitlinien, dass zwei Forschende unabhängig und verblindet prüfen, was bereits vor der Volltextbeschaffung hunderte Arbeitsstunden bindet. Elicit überwindet diesen Engpass, senkt den Zeitaufwand um bis zu 60 % bis 80 % und belässt die finale Entscheidungskompetenz bei den Forschenden.

1. Voraussetzungen und Workflow-Auswahl in Elicit

Elicit bietet unterschiedliche Arbeitsmodi, darunter die explorative Literatursuche, automatisierte Forschungsberichte (Research Reports) und den spezialisierten Workflow für systematische Übersichtsarbeiten (Systematic Review / Review-Modus). Das Anlegen mehrdimensionaler Prüfkriterien, die satzgenaue Zitatverifikation und das Management von Doppelprüfungen setzen ein aktives Abonnement voraus (Tarife Pro, Scale oder Enterprise).

Vor der Konfiguration der Screening-Regeln muss das Forschungsteam folgende Vorbereitungen treffen:

• Protokollregistrierung: Vorab-Registrierung des systematischen Übersichtsarbeitsprotokolls bei PROSPERO oder Open Science Framework (OSF) mit fest definierten Einschlusskriterien.
• Operationalisierung der PICO-Elemente: Überführung der klinischen Fragestellung in binär prüfbare Bedingungen ohne interpretatorischen Spielraum.
• Festlegung der Suchstrategie: Entscheidung, ob die Zitate über den internen Index von Elicit generiert oder aus externen bibliografischen Datenbanken importiert werden.

2. Schritt-für-Schritt-Anleitung: Vom PICO-Schema zu maschinenausführbaren Kriterien

Schritt 1: Systematischen Review initialisieren und klinischen Kontext hinterlegen

1. Öffnen Sie die Elicit-Oberfläche und wählen Sie im Workflow-Menü Systematic Review.
2. Tragen Sie die zentrale Fragestellung in das Hauptfeld ein (z. B.: What is the clinical efficacy and safety of GLP-1 receptor agonists compared to SGLT-2 inhibitors in adults with type 2 diabetes and chronic kidney disease?).
3. Öffnen Sie das Freitextfeld Additional Context auf der Einrichtungsseite (Setup). Dieser Parameter steuert die automatische Kriteriengenerierung des Systems. Strukturieren Sie die Vorgaben nach den PICO-Dimensionen:
   • Population (P): Mindestalter, gesicherte Krankheitsstadien, Begleiterkrankungen sowie strikte Ausschlusskriterien (wie dialysepflichtige Niereninsuffizienz oder Schwangerschaft).
   • Intervention (I): Zugelassene Arzneistoffe, Wirkstoffklassen, Verabreichungswege und Dosierungsbereiche.
   • Comparator (C): Zulässige Kontrollgruppen (aktive Vergleichssubstanzen, Standardtherapie oder Placebo).
   • Outcomes (O): Primäre und sekundäre Endpunkte (Verlustrate der eGFR, Proteinurie, schwere kardiovaskuläre Ereignisse, Gesamtmortalität und spezifische Arzneimittelnebenwirkungen).
   • Study Design (S): Zugelassene Studientypen (z. B. randomisierte kontrollierte Parallelgruppenstudien RCT mit mindestens 12 Wochen Nachbeobachtungszeit; Ausschluss von Tiermodellen, In-vitro-Studien, narrativen Übersichten und Fallberichten).

Schritt 2: Zitationskorpus zusammenstellen (Die Dual-Track-Suchstrategie)

Elicit ermöglicht den Aufbau des Literaturkorpus entweder über den internen semantischen Index (über 126 Millionen Artikel via Semantic Scholar) oder durch den Import externer Zitationsdateien.

Bei formellen, PRISMA-2020-pflichtigen Übersichtsarbeiten darf man sich nicht allein auf die interne Suche von Elicit verlassen. Unabhängige methodische Studien (z. B. Lau & Golder 2025 sowie Bernard et al. 2025) belegen, dass die interne Elicit-Suche zwar eine hohe Präzision (durchschnittlich 41,8 %) aufweist, die Sensitivität (Recall) jedoch im Schnitt nur bei 39,5 % liegt. Dies bleibt deutlich hinter der Sensitivität von über 94 % zurück, die Informationsspezialisten durch boolesche Abfragen in PubMed, Embase und Cochrane CENTRAL erzielen.

Die methodisch fundierte Vorgehensweise lautet:

1. Durchführung umfassender Abfragen in PubMed, Embase, Web of Science und CENTRAL durch Dokumentationsfachleute.
2. Deduplizierung der Zitate in Literaturverwaltungsprogrammen (z. B. EndNote oder Covidence).
3. Export der bereinigten Zitationsbibliothek im Standardformat RIS oder BibTeX.
4. Upload der RIS-Datei im Schritt Gather in Elicit, um die Screening-Warteschlange transparent und vollständig zu befüllen.

Schritt 3: PICO-Screening-Kriterien konfigurieren und kalibrieren

Nach dem Laden der Zitate schlägt Elicit auf Basis des hinterlegten Kontexts Kriterien vor. Diese müssen von den Forschenden in präzise Prüfspalten überführt werden:

Wichtige Gestaltungsregeln:

• Atomare Kriterien: Vermeiden Sie kombinierte Bedingungen in einer Regel. Trennen Sie Alter und Nierenfunktionsstörung in zwei getrennte Spalten, um Subgruppenanalysen bei gemischten Kollektiven zu erleichtern.
• Explizite Ausschlussregeln einfügen: Definieren Sie feste Kriterien zum Ausschluss von Konferenz-Abstracts ohne Volltext oder präklinischen Tierversuchen.
• Kriteriengewichtung (Importance): Kennzeichnen Sie in der Oberfläche elementare Basiskriterien (wie humanes Studiendesign) gegenüber Detailkriterien, die erst im Volltext sicher beurteilt werden können.

Schritt 4: Automatisiertes Screening durchführen und Textzitate prüfen

Nach dem Start prüft Elicit fortlaufend Titel und Abstracts des geladenen Korpus:

1. Regelbasierte Bewertung: Elicit prüft für jeden Eintrag jede PICO-Spalte und vergibt den Status Met (Erfüllt), Not Met (Nicht erfüllt) oder Uncertain (Unsicher).
2. Textuelle Rückverfolgbarkeit (Quote Grounding): Beim Klick auf eine Zelle blendet das System den exakten Satz aus dem Abstract ein, der zur Einstufung führte. Wird eine Studie wegen unpassender Intervention abgelehnt, markiert Elicit die Passage, die eine nicht zugelassene Kombinationstherapie erwähnt.
3. Gesamtbewertung und Empfehlung: Das System aggregiert die Kriterien zu einem Relevanz-Score und schlägt eine Entscheidung vor: Include (Einschluss), Exclude (Ausschluss) oder Review (Prüfung).
4. Tabellenfilter: Forschende können die Liste nach spezifischen Spalten filtern (z. B. alle Einträge anzeigen, bei denen der Komparator als unsicher eingestuft wurde), um Zweifelsfälle gezielt zu bearbeiten.

Schritt 5: Doppelblindprüfung und Schlichtung von Diskrepanzen etablieren

PRISMA 2020 verlangt unabhängige Beurteilungen. Elicit unterstützt zwei primäre Arbeitsmodelle:

• Modell A: Ein menschlicher Reviewer + Elicit als Zweitprüfer: Ein Prüfer screent manuell, während Elicit im Hintergrund als unabhängiger Zweitprüfer agiert. Die Plattform markiert widersprüchliche Einstufungen (z. B. Prüfer schließt ein, Elicit empfiehlt Ausschluss) zur gemeinsamen Schlichtung im Team.
• Modell B: Doppelblindprüfung durch zwei Forschende mit KI-Priorisierung: Zwei Forschende screenen unabhängig voneinander im Team-Workspace, ohne die Bewertungen des jeweils anderen zu sehen. Elicits Relevanz-Score dient dazu, die Warteschlange nach absteigender Wahrscheinlichkeit zu sortieren. Nach Abschluss beider Durchgänge deckt das System die Übereinstimmungsstatistiken und Streitfälle auf.

In beiden Modellen besitzen die Forschenden uneingeschränkte Überstimmungsbefugnis (Manual Override). Bei Korrekturen kann die standardisierte PRISMA-Ausschlusskategorie (Falsche Population, Fehlender Endpunkt, Unzulässiges Studiendesign) dokumentiert werden.

Schritt 6: PRISMA-2020-Daten exportieren und Volltext-Screening anschließen

Nach Abschluss der Abstract-Phase wird der vollständige Datensatz exportiert:

• Exportformate: Download als CSV- oder Excel-Tabelle mit bibliografischen Angaben, Einzelbewertungen nach PICO, zitierten Textnachweisen, Überstimmungsvermerken und der finalen Entscheidung.
• Übertrag in das PRISMA-Flussdiagramm: Die exportierten Kennzahlen fließen in das PRISMA-2020-Diagramm ein:
  • Identifizierte Datensätze aus Datenbanken.
  • Entfernte Duplikate.
  • Auf Titel-/Abstract-Ebene gescreente Datensätze.
  • Ausgeschlossene Berichte mit kategorialer Begründung.
  • Für die Volltextprüfung vorgemerkte Berichte.
• Übergang zum Volltext-Screening: Die verbleibenden Studien gehen in das Volltext-Screening und die strukturierte Datenextraktion. Die Browser-Erweiterung von Elicit unterstützt den automatisierten Abruf von Verlags-PDFs über institutionelle Hochschulzugänge.

3. Methodische Leistungsfähigkeit, Evidenz und Limitationen

Beim Einsatz von Elicit müssen Forschungsteams Stärken und Grenzen des Instruments genau abwägen.

Hohe Präzision versus variable Sensitivität

Die jüngste Fachliteratur liefert klare Befunde:

• Hohe Präzision (~42 %): Durch den PICO-gestützten Abgleich filtert Elicit irrelevante Literatur zuverlässig heraus. Dies übertrifft die geringe Trefferquote konventioneller Suchläufe (häufig unter 10 %) deutlich.
• Sensitivität abhängig von klinischer Komplexität: Bei eindeutigen pharmakologischen Studien erzielt Elicit eine hohe Sensitivität von 70 % bis 94 %. Bei komplexen Interventionen im Bereich der öffentlichen Gesundheit sinkt die Sensitivität, wenn Abstracts relevante PICO-Begriffe nicht explizit nennen.

Umgang mit Grenzwerten (Borderline-Scores)

Elicit nutzt Schwellenwerte für Ein- und Ausschlussempfehlungen. Studien weisen darauf hin, dass Publikationen unmittelbar an der Schnittstelle (z. B. 4,8 Punkte auf einer 5-Punkte-Skala) empfindlich auf minimale Gewichtungen reagieren. Das Studienprotokoll sollte festlegen: Alle Publikationen, deren Score im Bereich von +/- 10 % um den Schwellenwert liegt, müssen ausnahmslos einer manuellen Zweitprüfung durch Menschen unterzogen werden.

RAISE-Framework und wissenschaftliche Integrität

Gemäß dem RAISE-Framework (Responsible AI in Evidence Synthesis) tragen KI-Modelle keine wissenschaftliche Verantwortung. Der methodische Vorzug von Elicit liegt in seiner vollständigen Rückverfolgbarkeit anhand von Abstract-Zitaten. Autoren müssen im Methodenteil ihrer Veröffentlichung die genaue Elicit-Version, die formulierten PICO-Regeln, die Rolle der KI und das menschliche Kontrollverfahren transparent offenlegen.

4. Best-Practice-Checkliste für biomedizinische Review-Teams

1. Suche und Screening trennen: Führen Sie die Hauptsuche in PubMed, Embase und Fachdatenbanken durch und importieren Sie den bereinigten Bestand in Elicit; meiden Sie die ausschließliche Nutzung der internen KI-Suche.
2. Pilot-Test mit 50 Abstracts: Testen Sie die PICO-Regeln vor dem Gesamtlauf an 50 Stichproben, um die Auslegung des Modells mit dem Expertenurteil abzugleichen.
3. Ausschluss-Audits etablieren: Da falsch-negative Einstufungen die Evidenzsynthese gefährden, prüfen Sie alle Grenzfälle und eine Zufallsstichprobe von mindestens 20 % der automatisierten Ausschlüsse manuell nach.
4. Entscheidungsdateien archivieren: Sichern Sie versionierte Original-Exporte der Elicit-Screening-Tabellen als Nachweis für Peer-Review und Redaktionen.

Referenzen

• Blog | Elicit: AI for research & decision-making
• Comparison of Elicit AI and Traditional Literature Searching in Evidence Syntheses Using Four Case Studies - PMC
• Using artificial intelligence for systematic review: the example of elicit - PMC
• The PRISMA 2020 statement: an updated guideline for reporting systematic reviews - PMC
• Development and evaluation of prompts for a large language model to screen titles and abstracts in a living systematic review - PMC