서로 충돌하는 선행연구를 정리하는 방법: 결과가 다른 이유까지 설명하는 문헌고찰

논문을 읽다 보면 같은 질문을 다룬 연구들이 전혀 다른 결론을 내리는 경우가 있습니다. 한 연구에서는 특정 변수가 효과가 있다고 보고하지만, 다른 연구에서는 효과가 없다고 말합니다. 심지어 어떤 연구에서는 긍정적인 영향을, 또 다른 연구에서는 부정적인 영향을 보고하기도 합니다.

이때 연구자가 해야 할 일은 어느 한쪽을 선택해 정답처럼 제시하는 것이 아닙니다. 충돌하는 결과를 그대로 늘어놓는 것도 충분하지 않습니다. 중요한 것은 연구 결과가 왜 달라졌는지 비교하고, 그 차이가 무엇을 의미하는지 설명하는 것입니다.

선행연구의 불일치는 문헌고찰의 결함이 아니라 오히려 중요한 연구 단서가 될 수 있습니다. 결과가 갈리는 지점에는 표본, 연구 설계, 측정도구, 분석 방법, 연구 시기, 사회문화적 맥락과 같은 조건이 숨어 있기 때문입니다. 이 조건을 찾아내면 단순한 연구 요약을 넘어 새로운 연구 질문과 연구 공백까지 발견할 수 있습니다.

선행연구의 충돌은 무엇을 의미할까

선행연구가 서로 충돌한다는 것은 반드시 누군가의 연구가 틀렸다는 뜻은 아닙니다. 연구는 특정한 표본, 시기, 장소, 측정도구와 분석 방법 안에서 수행됩니다. 따라서 같은 주제를 다루더라도 연구 조건이 달라지면 결과가 달라질 수 있습니다.

예를 들어 온라인 수업이 학업 성취도에 미치는 영향을 연구한다고 가정해 보겠습니다.

• A 연구에서는 온라인 수업이 학업 성취도를 높였다고 보고했습니다.
• B 연구에서는 온라인 수업과 성취도 사이에 유의한 관계가 없다고 보고했습니다.
• C 연구에서는 온라인 수업이 오히려 성취도를 낮췄다고 보고했습니다.

표면적으로는 세 연구가 서로 모순되는 것처럼 보입니다. 그러나 A 연구는 자기주도학습 능력이 높은 대학생을 조사했고, B 연구는 일반 대학생을 대상으로 했으며, C 연구는 디지털 기기 접근성이 낮은 중학생을 대상으로 했을 수 있습니다.

이 경우 핵심 질문은 “온라인 수업은 효과가 있는가?”에서 끝나지 않습니다. 더 나은 질문은 다음과 같습니다.

온라인 수업은 어떤 학습자에게, 어떤 환경에서, 어떤 방식으로 제공될 때 효과가 나타나는가?

충돌하는 연구는 단순한 장애물이 아니라 연구 질문을 더 정교하게 만드는 재료입니다. 처음에는 하나의 직선처럼 보였던 연구 주제가 여러 갈래의 조건과 맥락을 가진 지도처럼 펼쳐지는 순간입니다.

충돌하는 연구를 정리할 때 흔한 실수

연구 결과를 찬성과 반대로만 나누는 실수

가장 흔한 방식은 연구를 긍정적 결과와 부정적 결과로 나누는 것입니다.

예를 들어 다음과 같이 작성할 수 있습니다.

“김○○은 긍정적인 영향을 보고했으나, 이○○은 유의한 영향이 없다고 보고했다. 반면 박○○은 부정적인 영향을 확인했다.”

이 문장은 연구 결과가 다르다는 사실은 보여주지만, 왜 다른지는 설명하지 않습니다. 연구자의 분석과 해석이 빠진 채 참고문헌만 줄지어 서 있는 상태입니다.

더 나은 문헌고찰은 결과가 달라진 원인을 비교해야 합니다.

연구 수가 많은 쪽을 정답으로 판단하는 실수

긍정적인 결과를 보고한 연구가 10편이고 부정적인 결과를 보고한 연구가 3편이라고 해서 긍정적인 결론이 자동으로 옳아지는 것은 아닙니다.

10편의 연구가 모두 작은 표본을 사용한 횡단면 연구이고, 3편의 연구가 대규모 종단 연구나 무작위 대조실험이라면 증거의 무게는 단순한 편수와 다를 수 있습니다.

문헌고찰에서는 연구의 개수뿐 아니라 다음 요소를 함께 살펴야 합니다.

• 표본 규모와 대표성
• 연구 설계의 적절성
• 측정도구의 타당도와 신뢰도
• 교란변수 통제 여부
• 분석 방법의 적절성
• 결과의 재현 가능성

자신의 가설과 맞는 연구만 강조하는 실수

연구자는 자신도 모르게 자신의 주장과 일치하는 연구를 더 신뢰하고, 반대 결과를 보고한 연구에는 더 엄격한 기준을 적용할 수 있습니다. 이를 확증편향이라고 합니다.

충돌하는 연구를 정리할 때는 찬성 연구와 반대 연구에 동일한 평가 기준을 적용해야 합니다. 한쪽 연구의 한계만 세밀하게 지적하면서 다른 쪽 연구의 한계는 지나치는 방식은 균형 잡힌 문헌고찰이 아닙니다.

통계적 유의성과 실질적 중요성을 혼동하는 실수

어떤 연구에서 통계적으로 유의한 결과가 나왔다고 해도 실제 효과 크기는 매우 작을 수 있습니다. 반대로 표본이 작은 연구에서는 실제로 의미 있는 차이가 있어도 통계적 유의성이 나타나지 않을 수 있습니다.

따라서 가능하다면 유의확률만 확인하지 말고 효과크기, 신뢰구간, 표본 규모를 함께 검토해야 합니다.

먼저 동일한 질문을 다룬 연구인지 확인하기

서로 충돌한다고 생각했던 연구들이 실제로는 서로 다른 질문에 답하고 있는 경우가 많습니다. 제목이나 핵심 키워드가 비슷하다고 해서 연구 질문까지 같은 것은 아닙니다.

연구를 비교하기 전에 각 연구를 다음 구조로 다시 적어보는 것이 좋습니다.

예를 들어 “스마트폰 사용과 우울의 관계”를 다룬 연구라도 실제 질문은 다를 수 있습니다.

• 스마트폰 사용시간이 청소년 우울 수준과 관련되는가?
• 소셜미디어 사용이 대학생의 우울 증상을 예측하는가?
• 야간 스마트폰 사용이 수면을 매개로 우울에 영향을 미치는가?
• 문제적 스마트폰 사용을 줄이는 개입이 우울 증상을 개선하는가?

이 연구들은 모두 스마트폰과 우울을 다루지만, 독립변수와 종속변수, 대상, 연구 설계가 다릅니다. 따라서 연구 결과를 직접 대립시키기 전에 비교 가능성을 먼저 확인해야 합니다.

비교 가능성을 확인하는 다섯 가지 질문

1. 연구 대상은 같은 연령과 집단인가?
2. 핵심 변수의 정의가 같은가?
3. 측정도구와 측정 시점이 같은가?
4. 인과관계와 상관관계 중 무엇을 분석했는가?
5. 결과변수가 같은 수준에서 측정되었는가?

이 질문 중 여러 항목에서 차이가 난다면 두 연구는 완전히 충돌한다기보다 서로 다른 조건을 분석한 것일 수 있습니다.

비교 매트릭스로 연구 차이 구조화하기

충돌하는 선행연구를 정리할 때 가장 유용한 도구는 문헌고찰 매트릭스입니다. 연구별 요약문을 길게 작성하기보다 동일한 비교 기준을 열로 배치하면 차이가 선명하게 드러납니다.

이 표를 작성하면 단순히 결과가 다르다는 사실을 넘어 결과 차이와 연결될 가능성이 있는 요인을 찾을 수 있습니다.

예를 들어 대학생을 대상으로 한 횡단면 연구에서는 긍정적인 관계가 나타났지만, 직장인을 추적한 종단 연구에서는 관계가 나타나지 않았습니다. 이 차이는 연령이나 직업 환경 때문일 수도 있고, 연구 설계나 측정도구의 차이 때문일 수도 있습니다.

매트릭스에 포함하면 좋은 항목

• 저자와 발표 연도
• 연구 목적과 연구 질문
• 이론적 관점
• 연구 대상과 표본 규모
• 자료 수집 지역과 시기
• 연구 설계
• 독립변수와 종속변수의 정의
• 측정도구
• 분석 방법
• 주요 결과
• 효과크기 또는 신뢰구간
• 연구자가 제시한 한계
• 직접 평가한 방법론적 한계

모든 항목을 무조건 넣을 필요는 없습니다. 자신의 연구 질문과 관련된 차이를 설명할 수 있는 항목을 중심으로 구성해야 합니다.

연구 결과가 충돌하는 대표적인 원인

표본의 특성이 다르다

같은 현상도 연령, 성별, 직업, 소득, 교육 수준, 건강 상태, 문화적 배경에 따라 다르게 나타날 수 있습니다.

예를 들어 재택근무가 업무 만족도를 높인다는 연구와 낮춘다는 연구가 동시에 존재할 수 있습니다. 혼자 거주하며 자율성이 높은 근로자에게는 재택근무가 긍정적으로 작용할 수 있지만, 돌봄 부담이 있거나 협업 의존도가 높은 근로자에게는 부정적으로 작용할 수 있습니다.

따라서 표본 차이는 단순한 연구의 한계가 아니라 효과가 달라지는 조건을 보여주는 조절변수의 단서가 될 수 있습니다.

변수의 정의가 다르다

같은 단어를 사용해도 연구마다 조작적 정의가 다를 수 있습니다.

예를 들어 “소셜미디어 사용”은 다음과 같이 측정될 수 있습니다.

• 하루 평균 사용시간
• 접속 횟수
• 게시물 작성 빈도
• 수동적 콘텐츠 열람 시간
• 소셜미디어 의존 또는 중독 점수

이 측정치들은 서로 같은 현상을 완전히 동일하게 반영하지 않습니다. 사용시간은 길지만 능동적으로 친구와 소통하는 사람과, 사용시간은 짧지만 부정적인 콘텐츠만 반복해서 확인하는 사람의 경험은 다를 수 있습니다.

따라서 결과가 충돌할 때는 연구에서 사용한 개념적 정의와 조작적 정의를 반드시 확인해야 합니다.

측정도구가 다르다

자기보고식 설문, 관찰, 인터뷰, 생리적 측정, 기기 로그는 각각 다른 종류의 자료를 제공합니다.

자기보고식 자료에는 기억 오류와 사회적 바람직성 편향이 발생할 수 있습니다. 반면 기기 로그는 실제 사용시간을 비교적 정확히 보여주지만, 사용자가 그 시간을 어떻게 경험했는지는 설명하지 못할 수 있습니다.

측정도구가 다르면 같은 변수라도 결과가 달라질 수 있습니다. 특히 타당도가 충분히 검증되지 않은 척도를 사용한 연구는 결과 해석에 주의해야 합니다.

연구 설계가 다르다

횡단면 연구, 종단 연구, 실험 연구, 사례 연구는 서로 다른 질문에 답합니다.

• 횡단면 연구: 특정 시점에서 변수 간 관련성을 확인합니다.
• 종단 연구: 시간에 따른 변화와 선후관계를 추적합니다.
• 실험 연구: 조건을 통제하여 인과효과를 확인합니다.
• 질적 연구: 개인의 경험과 맥락을 깊이 탐색합니다.

횡단면 연구에서 두 변수의 상관관계가 나타났다고 해서 한 변수가 다른 변수의 원인이라고 단정할 수는 없습니다. 이후 종단 연구에서 해당 관계가 확인되지 않았다면 결과가 단순히 충돌한 것이 아니라 인과관계에 대한 초기 해석이 수정된 것일 수 있습니다.

분석 방법과 통제변수가 다르다

같은 자료를 사용해도 어떤 변수를 통제하는지에 따라 결과가 달라질 수 있습니다.

예를 들어 운동과 행복의 관계를 분석한 연구에서 연령, 소득, 건강 상태를 통제하지 않으면 강한 관계가 나타날 수 있습니다. 그러나 건강 상태를 통제한 뒤에는 관계가 크게 약해질 수 있습니다.

충돌하는 결과를 비교할 때는 다음을 살펴보는 것이 좋습니다.

• 어떤 교란변수를 통제했는가?
• 모형 선택 기준은 무엇인가?
• 결측치를 어떻게 처리했는가?
• 이상치를 제외했는가?
• 하위집단 분석을 수행했는가?
• 다중 비교 문제를 고려했는가?

연구 시기와 사회적 환경이 다르다

연구 결과는 시대와 환경의 영향을 받습니다. 기술, 제도, 문화, 경제 상황이 바뀌면 과거의 연구 결과가 현재에도 동일하게 적용되지 않을 수 있습니다.

예를 들어 원격근무에 관한 감염병 대유행 이전 연구와 이후 연구는 동일한 조건에서 수행되었다고 보기 어렵습니다. 원격근무 도구의 보급 수준, 조직의 준비도, 근로자의 경험이 크게 달라졌기 때문입니다.

연구 연도가 다를 때는 단순히 최신 연구가 더 우수하다고 판단하기보다 연구가 수행된 사회적 맥락이 결과에 어떤 영향을 주었는지 검토해야 합니다.

문화적 맥락이 다르다

개인주의와 집단주의, 가족 구조, 교육 제도, 노동 환경, 의료 체계가 다른 국가에서는 같은 변수가 다르게 작용할 수 있습니다.

예를 들어 개인의 자율성을 강조하는 조직문화에서는 독립적인 업무 방식이 만족도를 높일 수 있지만, 긴밀한 관계와 협력을 중시하는 문화에서는 고립감을 높일 수 있습니다.

해외 연구 결과를 국내 맥락에 적용할 때는 연구 대상 국가와 제도적 환경을 반드시 확인해야 합니다.

출판편향이 존재한다

통계적으로 유의한 결과는 유의하지 않은 결과보다 논문으로 출판될 가능성이 높습니다. 따라서 출판된 논문만 검토하면 실제보다 특정 효과가 더 강하고 일관된 것처럼 보일 수 있습니다.

가능하다면 학술지 논문뿐 아니라 학위논문, 연구보고서, 사전등록 연구, 체계적 문헌고찰과 메타분석도 함께 확인하는 것이 좋습니다.

연구의 수보다 증거의 질 비교하기

충돌하는 연구를 정리할 때는 각 연구가 제공하는 증거의 강도를 평가해야 합니다. 다만 모든 분야에 동일한 증거 위계를 기계적으로 적용해서는 안 됩니다. 연구 질문에 적합한 설계가 무엇인지 먼저 판단해야 합니다.

치료 효과나 개입 효과를 확인하는 질문에서는 무작위 대조실험이 중요할 수 있습니다. 반면 개인의 경험, 인식, 문화적 의미를 이해하려는 질문에서는 질적 연구가 더 적합할 수 있습니다.

양적 연구를 평가할 때 확인할 항목

• 표본 규모가 충분한가?
• 표본이 모집단을 대표하는가?
• 측정도구가 타당하고 신뢰할 수 있는가?
• 연구 설계가 연구 질문에 적합한가?
• 중요한 교란변수를 통제했는가?
• 효과크기와 신뢰구간이 제시되었는가?
• 결과가 다른 표본에서도 반복되었는가?

질적 연구를 평가할 때 확인할 항목

• 참여자 선정 과정이 적절하게 설명되었는가?
• 자료 수집과 분석 과정이 투명한가?
• 연구자의 위치성과 편향을 성찰했는가?
• 해석을 뒷받침하는 충분한 자료가 제시되었는가?
• 반대 사례나 예외 사례를 검토했는가?
• 연구 맥락이 구체적으로 설명되었는가?

증거의 질을 비교할 때 피해야 할 표현

다음과 같은 표현은 지나치게 단정적일 수 있습니다.

• “A 연구가 B 연구보다 확실히 옳다.”
• “최근 연구이므로 무조건 더 신뢰할 수 있다.”
• “연구 수가 많기 때문에 이 결론이 맞다.”
• “통계적으로 유의하지 않으므로 아무 효과가 없다.”

대신 다음과 같이 제한된 범위 안에서 평가하는 것이 좋습니다.

• “A 연구는 대규모 종단 설계를 사용했다는 점에서 시간적 선후관계를 평가하는 데 더 강한 근거를 제공한다.”
• “B 연구의 결과는 표본 규모가 작고 신뢰구간이 넓어 신중하게 해석할 필요가 있다.”
• “현재 증거는 특정 집단에서 효과가 나타날 가능성을 보여주지만 전체 모집단으로 일반화하기에는 제한이 있다.”

논문과 보고서에서 서술하는 방법

충돌하는 선행연구를 정리할 때는 연구별로 한 문단씩 나열하기보다 쟁점이나 차이의 원인을 중심으로 문단을 구성하는 것이 좋습니다.

좋지 않은 서술 방식

이 문단은 연구 결과를 나열할 뿐, 차이가 발생한 이유를 설명하지 않습니다.

더 나은 서술 방식

좋은 문단은 다음 네 단계로 전개됩니다.

1. 불일치 제시: 연구 결과가 일관되지 않음을 밝힙니다.
2. 결과 묶기: 비슷한 결과를 보고한 연구를 함께 정리합니다.
3. 조건 비교: 표본, 설계, 측정, 맥락의 차이를 설명합니다.
4. 잠정 해석: 어떤 조건에서 결과가 달라질 수 있는지 제안합니다.

활용하기 좋은 문장 틀

연구 결과의 불일치를 소개할 때

• “관련 연구들은 대체로 긍정적인 관계를 보고하지만, 일부 연구에서는 유의한 관계가 확인되지 않았다.”
• “해당 변수의 효과에 대해서는 연구 결과가 일관되지 않다.”
• “기존 연구는 효과의 방향과 크기에 관해 상반된 결과를 제시한다.”

원인을 비교할 때

• “이러한 차이는 연구 대상의 연령과 생활환경 차이에서 비롯되었을 가능성이 있다.”
• “두 연구는 동일한 개념을 다루었으나 측정도구와 분석 단위에서 차이를 보였다.”
• “상반된 결과는 개입 기간과 추적 관찰 시점의 차이로 설명될 수 있다.”
• “효과는 전체 집단에서 일관되게 나타나기보다 특정 하위집단에서 더 뚜렷하게 나타나는 것으로 보인다.”

신중한 결론을 제시할 때

• “현재 증거만으로 인과관계를 단정하기는 어렵다.”
• “기존 결과는 특정 조건에서 효과가 나타날 가능성을 시사하지만 일반화에는 주의가 필요하다.”
• “연구 간 이질성을 고려하면 단일한 방향의 결론보다 맥락 의존적인 해석이 적절하다.”
• “향후 연구에서는 표본 특성과 측정 방식의 차이를 명시적으로 검증할 필요가 있다.”

충돌하는 연구를 네 가지 유형으로 분류하기

모든 불일치가 같은 형태로 나타나는 것은 아닙니다. 충돌의 유형을 먼저 구분하면 정리 방향이 선명해집니다.

효과의 존재 여부가 다른 경우

어떤 연구에서는 유의한 효과가 나타나고, 다른 연구에서는 유의하지 않은 경우입니다.

이때는 표본 규모, 통계적 검정력, 효과크기, 신뢰구간을 함께 확인해야 합니다. 유의하지 않은 결과가 곧 효과가 없다는 뜻은 아닙니다.

효과의 방향이 반대인 경우

한 연구에서는 긍정적 효과를, 다른 연구에서는 부정적 효과를 보고하는 경우입니다.

이 경우에는 하위집단, 조절변수, 비선형 관계를 검토해야 합니다. 일정 수준까지는 긍정적이지만 지나치게 높아지면 부정적으로 바뀌는 역 U자형 관계가 존재할 수도 있습니다.

효과의 크기가 다른 경우

연구들이 같은 방향의 결과를 보고하지만 효과크기가 크게 다른 경우입니다.

이때는 개입 강도, 연구 기간, 측정 시점, 대상자의 초기 수준, 실행 충실도 등을 비교해야 합니다.

정량적 결과와 정성적 경험이 다른 경우

설문이나 통계 분석에서는 뚜렷한 효과가 나타나지 않았지만 인터뷰에서는 참여자들이 강한 변화를 경험했다고 말할 수 있습니다.

이는 반드시 모순이라기보다 연구가 포착한 수준이 다른 것일 수 있습니다. 평균 점수에서는 작은 변화였지만 일부 참여자에게는 매우 중요한 변화가 나타났을 수 있습니다.

충돌하는 연구에서 연구 공백 찾기

연구 결과의 불일치는 새로운 연구 주제를 만드는 가장 자연스러운 출발점 중 하나입니다. 다만 단순히 “기존 연구 결과가 일치하지 않으므로 추가 연구가 필요하다”고 쓰는 것만으로는 충분하지 않습니다.

어떤 차이가 해결되지 않았는지 구체적으로 밝혀야 합니다.

표본 공백

대부분의 연구가 대학생을 대상으로 수행되었고 직장인이나 고령자 연구가 부족하다면 다른 집단에서 결과가 재현되는지 검토할 수 있습니다.

맥락 공백

해외 연구는 많지만 국내 제도나 문화적 환경을 반영한 연구가 부족할 수 있습니다.

측정 공백

기존 연구가 대부분 자기보고식 설문에 의존했다면 행동 자료, 행정 자료, 기기 로그 또는 생리적 측정을 활용할 수 있습니다.

시간 공백

횡단면 연구만 존재한다면 종단 연구를 통해 변수의 선후관계와 장기적 변화를 확인할 수 있습니다.

기제 공백

두 변수 사이의 관계는 반복적으로 보고되었지만 왜 그런 관계가 나타나는지 설명하는 매개요인이 충분히 검증되지 않았을 수 있습니다.

조건 공백

평균적인 효과만 분석했을 뿐 누구에게, 언제, 어떤 조건에서 효과가 강하거나 약해지는지 확인하지 않았을 수 있습니다.

이 문장은 단순히 연구가 부족하다고 주장하지 않습니다. 기존 결과가 왜 충돌했는지에 관한 가설을 제시하고, 그 가설을 검증할 연구 방향까지 연결합니다.

충돌하는 선행연구 정리 순서

실제 문헌고찰을 진행할 때는 다음 순서로 작업하면 혼란을 줄일 수 있습니다.

1단계: 연구 질문을 하나의 문장으로 고정하기

문헌을 읽기 전에 무엇을 비교하려는지 분명히 적습니다. 연구 질문이 흔들리면 서로 다른 연구를 억지로 한데 묶게 됩니다.

2단계: 연구별 핵심 정보를 동일한 형식으로 추출하기

연구 목적, 표본, 설계, 측정도구, 분석 방법, 주요 결과, 한계를 같은 항목으로 정리합니다.

3단계: 결과의 방향에 따라 임시로 묶기

긍정적 결과, 부정적 결과, 유의하지 않은 결과로 나누되 여기서 결론을 내리지 않습니다. 이 분류는 출발점일 뿐입니다.

4단계: 각 묶음의 공통 조건 찾기

긍정적 결과가 나타난 연구들에 공통된 표본이나 설계가 있는지 확인합니다. 반대 결과를 보고한 연구들에서도 동일한 작업을 수행합니다.

5단계: 증거의 질과 비교 가능성 평가하기

연구 편수보다 연구 설계, 표본, 측정도구, 분석의 적절성을 평가합니다.

6단계: 결과 차이에 대한 설명 가설 세우기

“결과가 다르다”에서 멈추지 말고 “이 조건 때문에 결과가 달라졌을 가능성이 있다”는 설명을 만듭니다.

7단계: 설명과 사실을 구분하기

연구에서 직접 검증된 내용과 문헌고찰자가 추론한 내용을 구분해야 합니다.

예를 들어 “표본 연령의 차이가 결과 불일치의 원인이다”라고 단정하기보다 “표본 연령의 차이가 불일치에 기여했을 가능성이 있다”고 표현하는 것이 적절합니다.

8단계: 남아 있는 불확실성을 연구 공백으로 연결하기

어떤 조건이 실제로 결과 차이를 만드는지 아직 직접 검증되지 않았다면 그것이 후속 연구의 질문이 될 수 있습니다.

최종 점검 체크리스트

충돌하는 선행연구를 정리한 뒤 다음 질문을 확인해 보세요.

• 연구 결과를 단순히 찬성과 반대로 나열하지 않았는가?
• 비교한 연구들이 실제로 유사한 연구 질문을 다루는가?
• 연구 대상과 표본 특성을 비교했는가?
• 핵심 변수의 정의와 측정도구를 비교했는가?
• 횡단면, 종단, 실험 등 연구 설계의 차이를 고려했는가?
• 통계적 유의성뿐 아니라 효과크기와 신뢰구간을 확인했는가?
• 연구 수와 증거의 질을 구분했는가?
• 찬성 연구와 반대 연구에 동일한 평가 기준을 적용했는가?
• 연구 시기와 사회문화적 맥락을 고려했는가?
• 결과 차이에 대한 설명을 지나치게 단정하지 않았는가?
• 불일치를 구체적인 연구 공백과 연결했는가?
• 독자가 현재 증거의 범위와 한계를 이해할 수 있는가?

자주 묻는 질문

충돌하는 연구 중 어느 연구를 선택해야 하나요?

반드시 하나를 선택할 필요는 없습니다. 연구 질문과 가장 직접적으로 관련되고, 적절한 연구 설계와 신뢰할 수 있는 측정도구를 사용한 연구에 더 큰 비중을 둘 수 있습니다. 다만 반대 결과를 보고한 연구도 제외하지 말고 결과가 달라진 조건을 함께 설명해야 합니다.

유의하지 않은 연구도 문헌고찰에 포함해야 하나요?

포함하는 것이 좋습니다. 유의하지 않은 결과는 효과가 없다는 최종 증명이 아니라 현재 자료에서 효과를 명확히 확인하지 못했다는 의미일 수 있습니다. 표본 규모, 검정력, 신뢰구간을 함께 검토해야 합니다.

최신 연구를 더 신뢰해야 하나요?

최신 연구는 최근 환경과 방법론을 반영한다는 장점이 있지만, 발표 연도만으로 연구의 질을 판단할 수는 없습니다. 오래된 연구라도 설계가 탄탄하고 이후 반복적으로 재현되었다면 중요한 근거가 될 수 있습니다.

연구 결과가 너무 다양하면 결론을 내리지 않아도 되나요?

억지로 하나의 결론을 만들 필요는 없습니다. 대신 “현재 증거는 일관되지 않으며, 효과는 특정 조건에 따라 달라질 가능성이 있다”는 형태의 조건부 결론을 제시할 수 있습니다. 불확실성을 정확히 표현하는 것도 학술적 결론입니다.

상반된 결과 자체를 연구 공백으로 사용할 수 있나요?

가능하지만 불일치가 존재한다는 사실만으로는 부족합니다. 어떤 표본, 측정도구, 연구 설계 또는 맥락의 차이가 불일치를 만들었을 가능성이 있는지 구체적으로 제시해야 설득력 있는 연구 공백이 됩니다.

마무리: 충돌은 정리의 실패가 아니라 해석의 출발점이다

서로 충돌하는 선행연구를 만났을 때 가장 쉬운 방법은 연구를 찬성과 반대로 나누는 것입니다. 그러나 좋은 문헌고찰은 그보다 한 걸음 더 나아갑니다.

어떤 연구에서 효과가 나타났는지, 어떤 연구에서 나타나지 않았는지를 확인한 뒤 표본, 측정, 설계, 분석, 시기와 맥락을 비교해야 합니다. 그 과정에서 결과가 달라지는 조건을 발견하고, 현재 증거가 어디까지 말할 수 있는지 신중하게 판단해야 합니다.

선행연구의 불일치는 연구의 길을 막는 벽이 아닙니다. 오히려 기존 연구가 아직 충분히 설명하지 못한 경계선입니다. 그 경계선을 정교하게 따라가다 보면 새로운 연구 질문이 나타납니다.

좋은 문헌고찰은 어느 연구가 옳은지를 선언하는 글이 아니라, 각 연구가 어떤 조건에서 타당한지를 설명하는 글입니다.