근거중심의학(EBM) 및 임상 공중보건 분야에서 체계적 문헌고찰(Systematic Reviews)을 수행하는 연구팀이 Elicit을 활용할 때, 핵심은 전용 워크플로인 'Systematic Review(Review 모드)'를 통해 대상 환자군(Population), 중재(Intervention), 비교군(Comparator), 결과 지표(Outcome)를 모듈화된 규칙으로 변환하고 독립적인 이중 맹검 또는 AI 보조 스크리닝을 구현하는 것입니다. 이 방식은 수천 편의 문헌을 인간 연구자가 일일이 수작업으로 맹검 검토하던 병목 현상을 PRISMA 2020 지침에 부합하는 반자동화 프로세스로 혁신하며, 모든 포함 및 배제 결정에 대해 초록 원문의 문장 단위 인용 근거를 투명하게 제공합니다.
Cochrane 기준을 따르는 엄격한 체계적 문헌고찰은 초기 스크리닝 단계에서 통상 3,000~10,000편에 달하는 문헌의 제목과 초록을 선별해야 합니다. 선택 비뚤림(Selection bias)을 배제하기 위해 독립된 두 명의 연구자가 상호 맹검 상태에서 검토를 진행해야 하므로, 전문(Full-text)을 확인하기도 전에 수백 시간의 연구 인력이 소모됩니다. Elicit은 최종 승인 권한과 임상적 판단을 연구자에게 유지한 채 스크리닝 소요 시간을 최대 60~80% 단축할 수 있는 체계적인 방법론을 제시합니다.
1. 사전 준비 및 Elicit 워크플로 선택
Elicit은 일반 문헌 탐색, 자동 연구 보고서(Research Reports), 그리고 본격적인 체계적 문헌고찰 전용 워크플로(Systematic Review / Review 모드) 등 세분화된 모드를 제공합니다. 다차원 PICO 기준 설정, 문장 단위 인용문 추출, 팀 단위 이중 맹검 기능을 활용하려면 유료 구독 요금제(Pro, Scale 또는 Enterprise 티어)가 필요합니다.
스크리닝 규칙을 입력하기 전에 연구팀은 다음 사항을 먼저 완비해야 합니다.
- 프로토콜 사전 등록: PROSPERO 또는 OSF(Open Science Framework)에 연구 프로토콜을 등록하고 명확한 적격성 기준을 확정합니다.
- PICO 구성 요소의 조작적 정의: 임상 질문을 주관적 해석의 여지가 없는 이분법적(Yes/No) 검증 조건으로 세분화합니다.
- 문헌 수집 전략 수립: Elicit 내부 검색 엔진을 통해 문헌을 수집할 것인지, 외부 의학 데이터베이스에서 종합 검색된 서지 파일을 가져올 것인지 결정합니다.
2. 단계별 가이드: PICO 프로토콜에서 기계 판정 규칙 구축까지
1단계: 체계적 문헌고찰 작업 생성 및 임상적 맥락 입력
- Elicit 대시보드에 접속한 뒤 워크플로 선택기에서 Systematic Review를 선택합니다.
- 메인 질문 입력란에 구체적인 임상 연구 질문을 입력합니다(예: What is the clinical efficacy and safety of GLP-1 receptor agonists compared to SGLT-2 inhibitors in adults with type 2 diabetes and chronic kidney disease?).
- Setup 설정 화면에서 Additional Context(추가 맥락) 자유 텍스트 상자를 엽니다. 이 항목은 Elicit이 세부 선별 기준 열을 제안할 때 핵심 지침이 됩니다. 프로토콜의 세부 사항을 PICO 항목별로 명확히 작성합니다.
- Population(대상군): 환자의 최소 연령, 확진된 질환 병기, 동반 질환 범위, 명시적 제외 기준(투석 중인 말기 신질환 환자 또는 임산부 등).
- Intervention(중재): 허가된 약물 성분명, 약물 계열, 투여 경로 및 용량 요건.
- Comparator(비교군): 허용되는 대조군(활성 대조 약제, 표준 치료법 또는 위약).
- Outcomes(결과 지표): 1차 및 2차 임상 평가변수(eGFR 감소율, 단백뇨 개선, 주요 심혈관 사건, 전인체 사망률 및 주요 약물 이상반응).
- Study Design(연구 설계): 적격한 연구 방법론(최소 12주 이상 추적 관찰된 병행군 무작위 배정 비교임상시험 RCT; 동물 실험, 시험관 실험, 종설, 증례 보고 제외).
2단계: 문헌 코퍼스 집합 구축 (이중 경로 검색과 PRISMA 준수)
Elicit에서는 Semantic Scholar 기반의 내부 색인(1억 2,600만 편 이상)에서 논문을 직접 검색하거나, 외부에서 생성된 서지 라이브러리를 일괄 업로드할 수 있습니다.
PRISMA 2020 기준을 엄격히 준수해야 하는 공식 의학 문헌고찰의 경우, Elicit 내부 검색 기능에만 단독으로 의존해서는 안 됩니다. 2025년 Cochrane 및 BMC에 발표된 독립적 실증 연구에 따르면, Elicit 내부 검색은 정밀도(Precision)가 약 41.8%로 매우 높은 반면, 민감도(Sensitivity / Recall)는 평균 약 39.5%에 불과합니다. 이는 의학 사서가 PubMed, Embase, Cochrane CENTRAL에서 다중 불리언 검색을 수행했을 때 달성하는 94% 이상의 민감도에 비해 미탐 위험이 큽니다.
학술적으로 권장되는 이중 경로 절차는 다음과 같습니다.
- 의학 정보 전문가와 협력하여 PubMed, Embase, Web of Science, CENTRAL에서 포괄적 검색식을 실행합니다.
- 서지 관리 프로그램(EndNote, Covidence 등)을 사용하여 중복 문헌을 제거합니다.
- 중복이 제거된 최종 서지 라이브러리를 표준 RIS 또는 BibTeX 형식으로 내보냅니다.
- Elicit의 Gather 단계에서 해당 RIS 파일을 업로드하여 전체 문헌 큐를 투명하게 가져옵니다.
3단계: PICO 구조화 스크리닝 기준 설정 및 미세 조정
문헌이 업로드되면 Elicit은 입력된 맥락을 토대로 스크리닝 기준 후보를 자동 생성합니다. 연구팀은 각 기준을 명확하고 독립적인 판정 열로 다듬어야 합니다.
| PICO 영역 | 임상 프로토콜 세부 기준 예시 | Elicit 규칙 정의 문장 (프롬프트 예시) | 판정 출력 모드 |
|---|---|---|---|
| 대상군 (P) | 만 18세 이상 만성 콩팥병 3-4기 동반 제2형 당뇨병 성인 | "Does the study population consist of adult patients (>=18 years) with confirmed Type 2 Diabetes and CKD?" | 이분법 판정 (Met / Not Met / Uncertain) |
| 중재 (I) | 승인된 GLP-1 수용체 작용제 (세마글루타이드, 둘라글루타이드 등) | "Does the study evaluate a GLP-1 receptor agonist intervention?" | 이분법 판정 (Met / Not Met / Uncertain) |
| 비교군 (C) | SGLT-2 억제제, 표준 혈당 강하 요법 또는 위약 대조군 | "Is there an active comparison group using SGLT-2 inhibitors or placebo?" | 이분법 판정 (Met / Not Met / Uncertain) |
| 결과 지표 (O) | 신기능 저하 지표, 심혈관 사건 발생, 사망률 | "Does the study report renal outcomes (e.g., eGFR, proteinuria) or mortality?" | 이분법 판정 (Met / Not Met / Uncertain) |
| 연구 설계 (S) | 최소 12주 이상 추적 관찰된 병행군 무작위 배정 비교임상시험 | "Is the study an RCT in humans with at least 12 weeks follow-up duration?" | 이분법 판정 (Met / Not Met / Uncertain) |
규칙 설정 시 핵심 권고사항:
- 기준의 원자화: 복합 조건을 단일 규칙에 묶지 마십시오. '성인 인구'와 'CKD 3-4기'를 별도의 독립된 열로 분리하면 향후 혼합 인구 집단 연구의 하위 그룹 분석 시 유용합니다.
- 명시적 배제 조건 추가: '동료 평가를 거친 전문이 없는 학술대회 초록 제외', '전임상 동물 모델 제외'와 같은 명시적 배제 규칙을 등록합니다.
- 기준별 중요도(Importance) 부여: 연구 설계나 인간 대상자 연구와 같은 필수 배제 조건과 전문 확인이 필요한 부차적 조건을 가중치로 차등화합니다.
4단계: 자동 스크리닝 실행 및 초록 원문 인용 검증
스크리닝을 실행하면 Elicit은 큐에 등록된 모든 논문의 제목과 초록을 순차적으로 분석합니다.
- 규칙별 판정: 각 논문에 대해 설정된 PICO 열마다 Met(충족), Not Met(미충족) 또는 Uncertain(불확실) 상태를 반환합니다.
- 원문 근거 인용(Quote Grounding): 임의의 셀을 클릭하면 AI가 판정의 근거로 삼은 초록 내 문장이 즉시 강조 표시됩니다. 예를 들어 중재 부적합으로 분류된 경우, 연구에서 제외 대상 병용 약제를 사용했다고 언급한 초록 문장을 직접 확인할 수 있습니다.
- 종합 점수 및 권고안 산출: 충족된 기준의 가중치에 따라 관련성 점수를 산출하고 Include(포함), Exclude(배제), Review(검토 필요) 중 하나의 권고를 제시합니다.
- 인터랙티브 테이블 필터링: '비교군 판정이 불확실한 논문만 보기' 등 조건별로 필터링하여 의심 사례를 집중적으로 검토할 수 있습니다.
5단계: 이중 맹검 스크리닝 및 불일치 중재 운영
PRISMA 2020 지침은 연구자 간 독립적 평가를 요구합니다. Elicit은 두 가지 협업 방식을 지원합니다.
- 모델 A: 인간 1인 검토 + 제2검토자로서의 Elicit: 인간 연구자가 독립적으로 스크리닝을 진행하는 동안 Elicit이 제2검토자 역할을 수행합니다. 시스템은 인간은 포함을 선택했으나 Elicit은 배제를 권고한 경우처럼 의견이 불일치하는 논문을 자동으로 표시하여 연구팀의 합의를 유도합니다.
- 모델 B: 인간 2인 이중 맹검 + AI 우선순위 정렬: 두 명의 인간 연구자가 상호 평가 내용을 보지 못한 채 맹검 스크리닝을 진행합니다. Elicit의 관련성 점수에 따라 큐가 재정렬되어 포함 가능성이 높은 논문부터 효율적으로 검토할 수 있습니다. 스크리닝 종료 후 맹검이 해제되며 일치도 통계와 충돌 목록이 생성됩니다.
모든 모델에서 인간 연구자는 최종 결정을 수동으로 재정의(Manual Override)할 수 있는 전권을 갖습니다. 결정을 변경할 때는 PRISMA 표준 배제 사유(예: 부적합한 대상군, 결과 지표 결여, 부적합한 연구 설계)를 드롭다운에서 선택하여 기록합니다.
6단계: PRISMA 2020 데이터 내보내기 및 전문 검토 전환
제목 및 초록 선별이 완료되면 전체 스크리닝 데이터 세트를 내보냅니다.
- 데이터 내보내기 형식: 서지 메타데이터, PICO 항목별 판정 상태, 인용된 원문 발췌문, 연구자의 수동 수정 이력, 최종 적격성 판정이 포함된 CSV 또는 Excel 파일을 다운로드합니다.
- PRISMA 흐름도 작성: 내보낸 통계 수치를 PRISMA 2020 흐름도의 각 단계에 대입합니다.
- 데이터베이스에서 검색된 총 문헌 수.
- 중복 제거된 문헌 수.
- 제목 및 초록 수준에서 검토된 문헌 수.
- 사유별로 배제된 문헌 수.
- 전문 확보 대상으로 선정된 문헌 수.
- 전문 검토 단계로의 연계: 선별된 논문은 전문 스크리닝 및 데이터 추출(Data Extraction) 단계로 넘어갑니다. Elicit 브라우저 확장 프로그램을 활용하면 소속 기관의 학술 DB 구독 권한을 통해 원문 PDF를 신속하게 확보할 수 있습니다.
3. 방법론적 성능 검증, 근거 및 한계점
Elicit을 실제 체계적 문헌고찰에 도입할 때 연구진은 도구의 장점과 한계점을 명확히 인지해야 합니다.
높은 정밀도와 가변적 민감도의 상충 관계
최근 발표된 학술 검증 연구에 따르면 다음과 같은 성능 특성이 확인됩니다.
- 우수한 정밀도(약 41.8%): PICO 의미론적 매칭 덕분에 Elicit은 관련 없는 문헌을 걸러내는 능력이 탁월하며, 수작업 검색 초기의 낮은 적중률(통상 1~10% 수준)보다 훨씬 효율적입니다.
- 임상 주제의 복잡성에 따른 민감도 편차: 단일 약제 투여 등 명확한 PICO 구조를 가진 약리학 RCT에서는 70~94% 수준의 높은 민감도를 보입니다. 반면, 복합 중재나 다면적 인구 집단을 다루는 공중보건 및 재활 연구에서는 초록에 표준 의학 용어가 명시되지 않을 경우 미탐 위험이 증가합니다.
임계 점수 문헌에 대한 관리 지침
Elicit은 종합 점수 임계치(Cut-off score)를 기준으로 포함/배제를 권고합니다. 선행 연구에 따르면 임계치 경계선(예: 5점 만점 중 4.8점 부근)에 위치한 논문은 미세한 가중치 변화에 따라 판정이 달라질 수 있습니다. 따라서 연구 계획서에 점수 임계치 기준 상하 10% 범위에 해당하는 경계선 논문은 자동으로 일괄 배제하지 않고 반드시 인간 연구자가 100% 재검토한다는 프로토콜 규칙을 명시해야 합니다.
RAISE 프레임워크와 연구 윤리
증거 합성의 책임 있는 AI(RAISE) 프레임워크에 따르면, AI 시스템은 학술적·윤리적 책임 주체가 될 수 없습니다. Elicit의 가치는 판정의 전적인 위임이 아니라 초록 원문 인용에 기반한 투명한 추적 가능성에 있습니다. 연구자는 논문 작성 시 방법론(Methods) 섹션에 사용한 Elicit의 버전, 설정된 PICO 프롬프트 문구, AI의 보조적 역할 및 인간의 최종 검증 절차를 투명하게 공개해야 합니다.
4. 생의학 체계적 문헌고찰 연구팀을 위한 권장 체크리스트
- 검색과 스크리닝의 도구 분리: PubMed와 Embase를 통한 포괄적 표준 검색을 고수하고, 중복이 제거된 전체 서지 파일을 Elicit으로 가져와 스크리닝을 진행하십시오. 단일 AI 검색에만 의존해서는 안 됩니다.
- 50편 파일럿 테스트 실시: 전체 문헌에 적용하기 전 대표 문헌 50편을 대상으로 PICO 판정 규칙을 시험 실행하여 연구진의 판단 기준과 일치하도록 조정하십시오.
- 배제 문헌 감사 수행: 임상 증거 합성에서 위음성(적합한 임상시험 누락)의 위험이 위양성보다 훨씬 치명적이므로, AI가 배제 권고한 문헌 중 최소 20%의 무작위 표본과 모든 경계선 문헌을 인간이 확인하십시오.
- 타임스탬프 원본 파일 보관: 동료 심사 및 저널 편집위원회의 질의에 대응할 수 있도록 Elicit에서 추출한 원본 판정 스프레드시트를 버전별로 보관하십시오.
참고 자료
- Blog | Elicit: AI for research & decision-making
- Comparison of Elicit AI and Traditional Literature Searching in Evidence Syntheses Using Four Case Studies - PMC
- Using artificial intelligence for systematic review: the example of elicit - PMC
- The PRISMA 2020 statement: an updated guideline for reporting systematic reviews - PMC
- Development and evaluation of prompts for a large language model to screen titles and abstracts in a living systematic review - PMC