문헌 포함 기준과 제외 기준 만드는 법: 흔들리지 않는 문헌선정 원칙

빠른 답변

문헌 포함 기준과 제외 기준은 연구 질문을 구성하는 핵심 요소를 구체적인 판정 조건으로 바꾸어 작성합니다. 연구 대상, 중재 또는 현상, 비교군, 결과, 연구 설계, 출판 연도, 언어, 출판 유형, 연구 환경을 기준으로 삼을 수 있습니다. 기준은 문헌 검색 전에 정하고, 두 명의 연구자가 같은 논문을 보았을 때 비슷한 결론을 내릴 수 있을 정도로 명확하게 표현해야 합니다.

포함 기준과 제외 기준이란 무엇인가

포함 기준은 문헌고찰에 들어오기 위해 반드시 충족해야 하는 조건입니다. 반대로 제외 기준은 검색 결과에는 나타났지만 최종 분석에 포함하지 않을 문헌을 판별하는 조건입니다.

예를 들어 ‘성인 당뇨병 환자의 모바일 건강관리 프로그램 효과’를 검토한다고 가정해 보겠습니다. 포함 기준은 다음과 같이 정할 수 있습니다.

• 만 18세 이상 성인을 대상으로 한 연구
• 제1형 또는 제2형 당뇨병 환자가 참여한 연구
• 스마트폰 앱을 이용한 건강관리 중재를 평가한 연구
• 당화혈색소 또는 혈당 관련 결과를 보고한 연구
• 무작위 대조시험 또는 준실험연구

이에 대응하는 제외 기준은 다음과 같이 작성할 수 있습니다.

• 소아 또는 청소년만을 대상으로 한 연구
• 임신성 당뇨병 환자만을 대상으로 한 연구
• 단순 문자 알림만 제공하고 모바일 앱을 사용하지 않은 연구
• 임상 결과 없이 앱 만족도만 조사한 연구
• 학술대회 초록만 공개되어 전체 연구 방법과 결과를 확인할 수 없는 문헌

중요한 점은 포함 기준과 제외 기준이 단순히 서로 반대되는 문장만은 아니라는 것입니다. 포함 기준을 충족하지 못해 자연스럽게 탈락하는 경우도 있고, 연구 질문과 특별히 혼동될 가능성이 있는 집단이나 설계를 별도의 제외 기준으로 명시해야 하는 경우도 있습니다.

포함 기준과 제외 기준의 차이

기준을 문헌 검색 전에 만들어야 하는 이유

결과에 맞추어 기준이 바뀌는 것을 막는다

검색 결과를 먼저 본 뒤 기준을 정하면 연구자가 선호하는 결과를 보여 주는 문헌만 남길 위험이 있습니다. 기대와 다른 결과를 보고한 연구를 무의식적으로 더 엄격하게 평가할 수도 있습니다.

선정 기준을 먼저 만들면 연구자가 예상하지 못한 결과가 나오더라도 같은 규칙을 적용할 수 있습니다. 이는 선택 편향을 줄이는 가장 기본적인 장치입니다.

검토자 간 판단 차이를 줄인다

두 명 이상의 연구자가 문헌을 독립적으로 선별할 때 기준이 모호하면 같은 논문을 두고 결론이 달라집니다. 예를 들어 ‘노인을 대상으로 한 연구’라고만 적으면 노인의 연령 기준을 60세로 볼지, 65세로 볼지 판단이 갈릴 수 있습니다.

이를 ‘평균 연령이 65세 이상이거나, 전체 참여자의 80% 이상이 65세 이상인 연구’처럼 조작적으로 정의하면 판정의 일관성이 높아집니다.

최종 연구 결과의 해석 범위를 결정한다

포함 기준은 곧 연구 결과가 적용될 수 있는 범위입니다. 대학병원 환자만 포함했다면 결과를 지역사회 전체에 그대로 적용하기 어렵습니다. 무작위 대조시험만 포함했다면 효과의 인과성은 강해질 수 있지만 현실적인 경험이나 맥락은 충분히 포착하지 못할 수 있습니다.

따라서 선정 기준은 논문을 줄이는 도구가 아니라, 연구 결과가 어디까지 말할 수 있는지를 정하는 경계선입니다.

연구 질문을 선정 기준으로 바꾸는 방법

좋은 포함·제외 기준은 연구 질문에서 출발합니다. 연구 질문을 구성 요소로 나눈 뒤, 각 요소를 실제 문헌에 적용할 수 있는 조건으로 바꾸면 됩니다.

중재 효과를 검토한다면 PICOS

• P, Population: 연구 대상자
• I, Intervention: 중재 또는 노출
• C, Comparison: 비교 중재 또는 대조군
• O, Outcome: 평가 결과
• S, Study design: 연구 설계

예를 들어 연구 질문이 ‘성인 불면증 환자에게 인지행동치료가 수면의 질을 개선하는가?’라면 다음과 같이 바꿀 수 있습니다.

정성연구를 검토한다면 SPIDER

경험, 인식, 태도와 같은 정성적 현상을 검토할 때는 PICOS보다 SPIDER가 더 적합할 수 있습니다.

• S, Sample: 연구 참여자
• PI, Phenomenon of Interest: 관심 현상
• D, Design: 자료수집 및 연구 설계
• E, Evaluation: 경험, 인식, 태도와 같은 평가 내용
• R, Research type: 정성, 정량 또는 혼합연구

예를 들어 ‘신규 간호사가 경험하는 직장 적응’을 검토한다면 신규 간호사의 근무 경력 범위, 병원 환경, 직장 적응 경험, 면담 또는 포커스그룹 사용 여부, 정성연구 여부를 선정 조건으로 만들 수 있습니다.

스코핑 리뷰라면 PCC

• P, Population: 대상 또는 참여자
• C, Concept: 핵심 개념
• C, Context: 연구 환경과 맥락

스코핑 리뷰는 연구 분야의 범위와 특성을 폭넓게 파악하는 목적이 있으므로, 연구 설계를 지나치게 제한하지 않는 경우가 많습니다. 대신 어떤 개념을 어디까지 포함할 것인지 분명하게 정해야 합니다.

포함·제외 기준에 넣을 수 있는 10가지 항목

1. 연구 대상

연령, 성별, 진단, 직업, 경력, 교육 수준, 위험 요인 등을 기준으로 정할 수 있습니다.

모호한 표현: 노인을 대상으로 한 연구

명확한 표현: 만 65세 이상 참여자를 대상으로 하거나, 전체 표본의 평균 연령이 65세 이상인 연구

2. 질환 또는 상태의 정의

같은 질환도 연구마다 진단 방법이 다를 수 있습니다. 의사의 진단, 진단 기준, 검사 수치 또는 자기보고 중 어떤 조건을 인정할지 정해야 합니다.

예를 들어 우울증 연구에서 ‘우울 증상이 있는 사람’을 포함할 것인지, 임상적 우울장애 진단을 받은 사람만 포함할 것인지에 따라 검토 범위가 크게 달라집니다.

3. 중재 또는 노출

중재의 종류, 제공 방식, 기간, 빈도, 강도와 같은 조건을 정의합니다.

‘운동 중재’라고만 작성하면 걷기, 근력운동, 요가, 재활운동이 모두 포함될 수 있습니다. 연구 질문에 따라 운동 유형을 제한하거나, 일정 시간 이상의 신체활동을 모두 포함하도록 정할 수 있습니다.

4. 비교군

무중재, 대기군, 일반 치료, 위약, 다른 중재 등을 비교군으로 인정할지 결정합니다. 단일군 전후 연구를 포함할지도 함께 정해야 합니다.

5. 결과 변수

특정 결과를 보고한 연구만 포함할 것인지 결정합니다. 다만 결과 변수를 지나치게 좁게 설정하면 관련 연구를 놓칠 수 있습니다.

예를 들어 ‘스트레스 감소’를 검토하면서 특정 스트레스 척도 하나만 허용하면, 다른 타당한 측정도구를 사용한 연구가 제외될 수 있습니다. 따라서 필요하다면 ‘검증된 도구로 측정된 스트레스 수준’처럼 범주로 정의하는 편이 좋습니다.

6. 연구 설계

다음과 같은 연구 설계가 포함 기준이 될 수 있습니다.

• 무작위 대조시험
• 비무작위 대조시험
• 코호트 연구
• 환자-대조군 연구
• 횡단연구
• 질적 면담 연구
• 혼합방법 연구
• 사례연구 또는 사례보고

연구 설계는 검토 목적에 맞추어 선택해야 합니다. 중재 효과를 엄격하게 비교하려면 무작위 대조시험을 중심으로 볼 수 있지만, 새로운 현상이나 희귀 사례를 파악하려면 관찰연구와 사례연구가 중요할 수 있습니다.

7. 연구 환경

병원, 학교, 직장, 지역사회, 가정, 장기요양시설처럼 연구가 수행된 장소를 기준으로 삼을 수 있습니다. 국가의 의료제도나 문화적 맥락이 중요한 주제라면 국가 또는 지역도 고려해야 합니다.

8. 출판 연도

기술, 제도, 진단 기준이 빠르게 변하는 분야에서는 출판 기간을 제한할 근거가 있습니다. 그러나 단지 검색 결과가 많다는 이유만으로 최근 5년으로 제한하면 중요한 선행연구가 사라질 수 있습니다.

연도 제한을 적용할 때는 다음과 같은 근거를 설명하는 것이 좋습니다.

• 새로운 법이나 정책이 시행된 시점
• 진단 기준이 개정된 시점
• 특정 기술이나 치료법이 도입된 시점
• 사회적 환경이 크게 변화한 시점

9. 출판 언어

연구자가 읽을 수 있는 언어만 포함하는 경우가 많지만, 언어 제한은 연구 결과의 편향을 만들 수 있습니다. 따라서 언어를 제한했다면 그 이유와 한계를 투명하게 밝혀야 합니다.

10. 출판 유형과 원문 이용 가능성

학술지 논문뿐 아니라 학위논문, 보고서, 학술대회 자료, 임상시험 등록자료와 같은 회색문헌을 포함할지 결정합니다.

동료평가 논문만 포함하면 일정 수준의 검토를 거친 자료를 확보할 수 있지만, 긍정적인 결과가 출판될 가능성이 더 높은 출판 편향에 노출될 수 있습니다. 반면 회색문헌을 포함하면 범위는 넓어지지만 연구의 질과 정보의 완전성을 별도로 평가해야 합니다.

문헌 포함 기준과 제외 기준을 만드는 7단계

1단계: 연구 목적을 한 문장으로 고정한다

먼저 무엇을 확인하려는 문헌고찰인지 한 문장으로 작성합니다.

지역사회 거주 노인의 사회적 고립을 줄이기 위한 디지털 중재의 종류와 효과를 확인한다.

연구 목적이 흔들리면 선정 기준도 계속 바뀝니다. ‘효과’를 확인할 것인지, ‘경험’을 탐색할 것인지, ‘연구 동향’을 지도화할 것인지부터 구분해야 합니다.

2단계: 연구 질문을 구성 요소로 나눈다

PICOS, PCC, SPIDER 등 연구 목적에 맞는 틀을 선택하고 대상, 현상, 중재, 결과, 맥락을 분리합니다.

3단계: 각 요소의 경계를 정한다

각 구성 요소에 대해 ‘어디까지 같은 것으로 볼 것인가’를 결정합니다.

• 노인의 기준은 만 60세인가, 만 65세인가?
• 디지털 중재에 전화 상담을 포함할 것인가?
• 사회적 고립과 외로움을 같은 결과로 볼 것인가?
• 요양시설 입소자를 지역사회 거주자로 볼 것인가?

이 단계에서 연구팀이 사용하는 핵심 용어의 조작적 정의를 작성하면 이후 판정이 훨씬 쉬워집니다.

4단계: 포함 기준을 긍정문으로 작성한다

포함 기준은 가능한 한 ‘무엇을 포함하는가’를 직접 보여 주는 문장으로 작성합니다.

권장: 만 65세 이상 지역사회 거주 노인을 대상으로 한 연구

비권장: 노인과 관련 없는 연구는 제외

5단계: 혼동 가능성이 큰 문헌을 제외 기준으로 분리한다

포함 기준만으로 판정하기 어렵거나 반복적으로 나타날 가능성이 높은 제외 사유를 따로 작성합니다.

• 요양시설 입소자만을 대상으로 한 연구
• 중재의 구성 요소별 효과를 분리할 수 없는 복합 중재 연구
• 동일한 연구 대상자의 결과를 중복 보고한 논문
• 연구계획서만 발표되고 결과가 보고되지 않은 문헌

6단계: 예비 문헌으로 기준을 시험한다

검색 결과 중 20~50편 정도를 골라 예비 선별을 실시합니다. 가능하다면 두 명의 연구자가 독립적으로 판정한 뒤 불일치가 발생한 이유를 확인합니다.

예비 선별에서 같은 질문이 반복된다면 기준에 설명이 부족하다는 신호입니다. 예를 들어 혼합연령 연구가 계속 문제가 된다면 다음과 같이 보완할 수 있습니다.

다양한 연령층을 포함한 연구는 만 65세 이상 참여자의 결과를 별도로 추출할 수 있는 경우에만 포함한다.

7단계: 변경 내용을 기록하고 기준을 확정한다

예비 선별 후 기준을 수정했다면 무엇을 왜 바꾸었는지 기록합니다. 본격적인 문헌선별이 시작된 뒤에는 결과에 따라 기준을 임의로 바꾸지 않아야 합니다.

불가피한 변경이 있다면 변경 시점, 이유, 영향을 연구계획서나 최종 보고서에 투명하게 설명해야 합니다.

연구 유형별 포함 기준과 제외 기준 작성 예시

예시 1. 중재 효과에 관한 체계적 문헌고찰

연구 주제: 대학생의 시험불안을 낮추기 위한 마음챙김 프로그램의 효과

포함 기준

• 대학교 또는 전문대학에 재학 중인 학생을 대상으로 한 연구
• 마음챙김 명상 또는 마음챙김 기반 프로그램을 제공한 연구
• 시험불안 또는 평가불안을 정량적으로 측정한 연구
• 대조군이 있는 무작위 또는 비무작위 중재연구
• 중재 전후 결과를 확인할 수 있는 연구
• 전체 원문을 확인할 수 있는 학술지 논문 또는 학위논문

제외 기준

• 초등학생, 중학생 또는 고등학생만을 대상으로 한 연구
• 일반적인 스트레스만 측정하고 시험불안을 측정하지 않은 연구
• 마음챙김이 중재의 일부이지만 독립적인 효과를 구분할 수 없는 연구
• 단일 사례보고, 사설, 서신, 연구계획서
• 동일한 표본과 결과를 중복 보고한 문헌

예시 2. 정성적 문헌고찰

연구 주제: 암 생존자의 직장 복귀 경험

포함 기준

• 성인 암 생존자를 연구 참여자로 포함한 연구
• 암 치료 후 직장 복귀, 고용 유지 또는 업무 적응 경험을 탐색한 연구
• 개별 면담, 포커스그룹 또는 참여관찰을 이용한 연구
• 정성적 자료 분석 결과를 제시한 연구
• 혼합방법 연구 중 정성적 결과를 별도로 추출할 수 있는 연구

제외 기준

• 고용률이나 복귀율만 보고하고 참여자의 경험을 다루지 않은 연구
• 가족 또는 의료진의 경험만 조사한 연구
• 암 이외 질환의 참여자 결과를 분리할 수 없는 연구
• 연구 방법과 분석 과정이 충분히 보고되지 않은 문헌

예시 3. 스코핑 리뷰

연구 주제: 생성형 인공지능을 활용한 대학 글쓰기 교육 연구의 범위

포함 기준

• 대학 또는 대학원 교육 환경에서 수행된 연구
• 생성형 인공지능을 글쓰기 교육, 피드백 또는 평가에 활용한 연구
• 학생, 교수자 또는 교육과정을 대상으로 한 연구
• 정량연구, 정성연구, 혼합방법 연구 및 교육 사례보고
• 연구 목적, 방법 또는 실행 과정이 구체적으로 기술된 문헌

제외 기준

• 초·중등교육만을 대상으로 한 연구
• 글쓰기와 무관한 코딩, 번역 또는 이미지 생성만 다룬 연구
• 생성형 인공지능을 직접 활용하지 않은 일반적인 인공지능 교육 연구
• 의견만 제시하고 연구 또는 교육 사례를 포함하지 않은 논평

애매한 문헌은 어떻게 처리해야 할까

아무리 기준을 구체적으로 만들어도 실제 논문은 경계선 위에 놓이는 경우가 있습니다. 제목과 초록에는 필요한 정보가 없고, 원문에서도 대상자 특성이나 중재 내용이 명확하지 않을 수 있습니다.

정보 부족과 기준 미충족을 구분한다

‘정보가 없다’는 것은 ‘조건을 충족하지 않는다’는 뜻과 다릅니다. 초록에 연령이 표시되지 않았다면 제목·초록 단계에서 즉시 제외하기보다 원문 검토 단계로 넘겨 확인하는 것이 안전합니다.

불명확하면 보수적으로 다음 단계로 넘긴다

제목·초록 선별 단계에서는 포함 가능성이 조금이라도 있는 문헌을 원문 검토로 넘기는 것이 일반적입니다. 이 단계에서 지나치게 엄격하게 제외하면 이후 복구하기 어렵기 때문입니다.

판정 보류 항목을 운영한다

포함과 제외 외에 ‘판정 보류’ 상태를 두고 연구팀 회의를 통해 결정할 수 있습니다. 보류 사유도 함께 기록해야 합니다.

• 대상자 연령을 확인할 수 없음
• 중재 구성 요소가 불분명함
• 결과의 하위집단 자료를 분리할 수 있는지 확인 필요
• 중복 출판 가능성 확인 필요

제3의 검토자 또는 합의 절차를 정한다

두 연구자의 판단이 다를 경우 토론으로 합의하고, 합의되지 않으면 제3의 검토자가 판정하도록 절차를 미리 정해 두는 것이 좋습니다.

포함·제외 기준을 만들 때 자주 하는 실수

검색 결과가 너무 많아서 연도부터 줄이는 실수

검색 결과가 많다는 이유만으로 최근 5년 또는 최근 10년으로 제한하면 선정 기준이 연구 질문이 아니라 연구자의 편의에 의해 결정됩니다.

먼저 검색식이 지나치게 넓은지 확인하고, 연구 질문상 연도 제한이 필요한 근거가 있는지 검토해야 합니다.

포함 기준과 검색어를 완전히 동일하게 만드는 실수

모든 포함 기준을 검색식에 넣으면 검색 결과가 지나치게 좁아질 수 있습니다. 논문 초록에 연령, 연구 설계, 결과 변수가 모두 표시되는 것은 아니기 때문입니다.

검색은 민감도를 높여 관련 문헌을 넓게 찾고, 세부적인 포함·제외 기준은 문헌선별 단계에서 적용하는 편이 일반적으로 안전합니다.

‘관련 없는 연구 제외’처럼 모호하게 쓰는 실수

관련성은 연구자마다 다르게 해석될 수 있습니다. 제외 사유는 다른 사람이 동일한 문헌을 보고도 이해할 수 있도록 구체적으로 기록해야 합니다.

모호한 제외 사유: 주제와 관련 없음

구체적인 제외 사유: 연구 대상이 대학생이 아님

결과가 마음에 들지 않아 제외하는 실수

중재 효과가 없거나 예상과 반대되는 결과를 보고했다는 이유는 제외 사유가 될 수 없습니다. 선정 여부는 연구 결과의 방향이 아니라 사전에 정한 대상, 중재, 결과, 설계 조건으로 판단해야 합니다.

연구의 질과 포함 여부를 혼동하는 실수

연구의 질이 낮다고 판단되는 문헌을 무조건 제외할지는 검토 목적에 따라 다릅니다. 일부 체계적 문헌고찰에서는 적격 문헌을 모두 포함한 뒤 비뚤림 위험을 평가하고, 민감도 분석에서 저품질 연구의 영향을 확인합니다.

따라서 ‘방법론적 질이 낮은 연구 제외’라고 막연하게 쓰기보다 어떤 평가도구와 기준을 사용할 것인지 미리 정해야 합니다.

초록만 보고 최종 제외 사유를 기록하는 실수

최종 제외 사유는 가능한 한 원문을 검토한 뒤 기록해야 합니다. 초록에는 대상자 특성, 하위집단 결과, 중재 세부 내용이 빠져 있을 수 있습니다.

하나의 문헌에 여러 제외 사유를 중복 기록하는 실수

PRISMA 흐름도와 제외 사유 표를 작성할 때는 일반적으로 각 문헌에 하나의 주된 제외 사유를 부여합니다. 이를 위해 제외 사유의 우선순위를 미리 정할 수 있습니다.

1. 연구 대상이 기준과 다름
2. 중재 또는 관심 현상이 다름
3. 결과 변수가 다름
4. 연구 설계가 다름
5. 출판 유형 또는 자료가 불충분함

좋은 선정 기준을 판단하는 5가지 질문

다섯 질문에 모두 답할 수 있다면 비교적 안정적인 선정 기준이라고 볼 수 있습니다. 한두 항목에서 답하기 어렵다면 본격적인 문헌선별에 들어가기 전에 기준을 다시 다듬는 편이 좋습니다.

바로 사용할 수 있는 포함 기준·제외 기준 템플릿

표 형식 템플릿

방법론 문장 템플릿

본 문헌고찰은 [대상자 특성]을 대상으로 [중재·노출·관심 현상]을 조사하고, [결과 변수]를 보고한 [연구 설계] 연구를 포함하였다. 출판 기간은 [시작 연도]부터 [종료 연도]까지로 제한하였으며, [포함 언어]로 작성되고 전체 원문을 확인할 수 있는 문헌을 선정하였다. [제외할 대상], [제외할 중재], [제외할 연구 설계]에 해당하는 연구와 동일한 자료를 중복 보고한 문헌은 제외하였다.

원문 제외 사유 기록 템플릿

• 대상자 기준 불일치
• 중재 또는 관심 현상 불일치
• 비교 조건 불일치
• 결과 변수 불일치
• 연구 설계 불일치
• 연구 환경 불일치
• 중복 출판
• 전체 원문 확보 불가
• 분석에 필요한 자료 부족
• 연구계획서 또는 학술대회 초록만 존재

문헌선별표에 함께 기록하면 좋은 항목

포함·제외 기준을 만들었다면 문헌선별 과정에서 판단 근거를 남길 수 있는 표를 함께 준비하는 것이 좋습니다.

문헌 포함 기준과 제외 기준에 관한 자주 묻는 질문

포함 기준을 충족하지 않으면 모두 제외 기준에 적어야 하나요?

반드시 모든 포함 기준의 반대 조건을 제외 기준으로 반복해서 적을 필요는 없습니다. 포함 기준으로 충분히 판정할 수 있다면 별도로 작성하지 않아도 됩니다. 다만 실제 선별 과정에서 자주 혼동될 집단이나 연구 설계는 제외 기준으로 명시하는 것이 좋습니다.

최근 5년 논문만 포함해도 되나요?

가능하지만 연구 질문과 연결된 이유가 있어야 합니다. 기술 변화, 정책 시행, 진단 기준 개정처럼 특정 시점 이후의 연구가 필요한 근거를 설명해야 합니다. 단순히 문헌 수를 줄이기 위한 제한이라면 중요한 근거를 놓칠 수 있습니다.

영어와 한국어 논문만 포함해도 되나요?

연구자의 언어 능력과 자원 때문에 제한할 수 있습니다. 다만 특정 언어 연구가 배제되면서 결과가 달라질 가능성이 있으므로, 방법론과 연구의 제한점에 언어 제한을 명시해야 합니다.

원문을 구하지 못한 논문은 제외해도 되나요?

제목과 초록만으로 적격성을 최종 판단하기 어렵다면 원문 미확보를 제외 사유로 기록할 수 있습니다. 다만 도서관 상호대차, 연구자 연락, 학술 데이터베이스 등을 통해 합리적인 범위에서 원문 확보를 시도한 뒤 결정하는 것이 좋습니다.

학위논문은 포함해야 하나요?

검토 목적에 따라 다릅니다. 학위논문은 출판되지 않은 결과를 포함해 출판 편향을 줄일 수 있지만, 심사 수준과 보고 형식이 학술지 논문과 다를 수 있습니다. 포함 여부를 사전에 정하고 동일한 질 평가 기준을 적용해야 합니다.

예비 검색 후 포함 기준을 바꾸어도 되나요?

본격적인 선별 전 예비 검색과 예비 선별을 통해 기준을 보완하는 것은 가능합니다. 오히려 경계 사례를 발견하고 기준을 명확히 하는 데 도움이 됩니다. 다만 최종 기준을 확정한 시점과 변경 이유를 기록해야 하며, 결과를 유리하게 만들기 위해 사후적으로 변경해서는 안 됩니다.

연구의 질이 낮으면 무조건 제외해야 하나요?

반드시 그렇지는 않습니다. 적격성 판정과 연구의 질 평가는 구분하는 것이 일반적입니다. 먼저 연구 질문과 선정 기준에 맞는지를 판단한 뒤, 별도의 비뚤림 위험 또는 질 평가를 수행할 수 있습니다. 저품질 연구를 제외할 계획이라면 평가도구와 제외 기준을 사전에 정해야 합니다.

핵심 정리

문헌 포함 기준과 제외 기준은 검색된 논문의 수를 줄이기 위한 편의 장치가 아닙니다. 연구 질문을 실제 판정 규칙으로 바꾸고, 누가 검토하더라도 비슷한 문헌을 선택하도록 만드는 방법론적 약속입니다.

좋은 선정 기준을 만들려면 연구 질문을 대상, 중재 또는 현상, 비교군, 결과, 연구 설계, 환경으로 나눈 뒤 각 요소의 경계를 조작적으로 정의해야 합니다. 연도, 언어, 출판 유형 제한에는 타당한 이유가 있어야 하며, 애매한 사례를 어떻게 처리할지도 미리 정해야 합니다.

기준을 먼저 세우면 문헌선별 과정은 단순해지고, 최종 문헌고찰의 투명성과 재현성은 높아집니다. 연구의 결론은 마지막에 쓰이지만, 그 결론의 신뢰성은 첫 번째 문헌을 고르기 전에 이미 시작됩니다.