연구에서 “A가 B에 영향을 미쳤다”고 말하려면 단순히 두 현상이 함께 나타났다는 사실만으로는 부족합니다. A가 변한 뒤 B도 변했다고 하더라도, 그 사이에 숨어 있는 다른 요인이 결과를 만들었을 수 있기 때문입니다.
이때 연구자가 인과관계를 확인하기 위해 사용하는 대표적인 방법이 실험연구와 준실험연구입니다.
두 연구는 모두 특정 처치나 프로그램의 효과를 확인한다는 점에서는 비슷합니다. 그러나 연구 참여자를 집단에 배정하는 방식에서 결정적인 차이가 있습니다.
핵심 차이:
실험연구는 연구 참여자를 실험집단과 통제집단에 무작위로 배정하지만, 준실험연구는 이미 형성된 집단이나 현실적인 조건을 이용합니다.
이 차이는 연구 결과의 신뢰도, 인과관계 해석, 현장 적용 가능성에 큰 영향을 미칩니다.
실험연구란 무엇인가
실험연구는 연구자가 독립변수를 의도적으로 조작한 뒤, 그 조작이 종속변수에 어떤 변화를 일으키는지 확인하는 연구입니다.
예를 들어 새로운 학습 프로그램의 효과를 알아본다고 가정해 보겠습니다.
연구자는 학생들을 무작위로 두 집단에 배정합니다.
- 실험집단에는 새로운 학습 프로그램을 적용합니다.
- 통제집단에는 기존 수업 방식을 적용합니다.
- 일정 기간이 지난 뒤 두 집단의 학업 성취도를 비교합니다.
두 집단이 처음부터 비슷한 조건으로 구성되어 있고, 적용한 프로그램만 다르다면 성취도 차이가 프로그램 때문이라고 해석할 가능성이 커집니다.
실험연구의 핵심 조건
실험연구는 일반적으로 다음 세 가지 조건을 갖습니다.
1. 독립변수의 조작
연구자가 특정 조건이나 처치를 의도적으로 변화시킵니다.
예를 들어 수업 방식, 상담 프로그램, 운동 방법, 광고 문구, 약물 투여 여부 등을 연구자가 직접 정합니다.
2. 통제집단의 설정
처치를 받은 집단과 처치를 받지 않은 집단을 비교합니다.
통제집단이 있어야 시간이 지나면서 자연스럽게 발생한 변화와 실험 처치로 인한 변화를 구분할 수 있습니다.
3. 무작위 배정
연구 참여자를 실험집단과 통제집단에 무작위로 배정합니다.
무작위 배정은 연구자의 주관이나 참여자의 특성이 특정 집단에 몰리는 것을 줄여 줍니다. 따라서 두 집단의 차이가 처치 이전부터 존재했을 가능성을 낮출 수 있습니다.
준실험연구란 무엇인가
준실험연구는 실험연구처럼 특정 처치의 효과를 확인하지만, 연구 참여자를 집단에 완전히 무작위로 배정하지 못하는 연구입니다.
학교, 병원, 기업, 지역사회처럼 이미 집단이 형성되어 있는 현실에서는 개인을 임의로 이동시키기 어렵습니다. 이때 연구자는 기존 집단을 활용하여 처치 효과를 비교합니다.
예를 들어 두 개의 학급을 대상으로 새로운 학습 프로그램을 평가한다고 가정해 보겠습니다.
- A반에는 새로운 학습 프로그램을 적용합니다.
- B반에는 기존 수업을 유지합니다.
- 프로그램 적용 전후의 성적 변화를 비교합니다.
A반과 B반은 연구자가 무작위로 만든 집단이 아닙니다. 학생의 성적, 담임교사, 학습 분위기 등이 처음부터 다를 수 있습니다.
따라서 프로그램 적용 후 A반의 성적이 더 높아졌더라도 그 차이가 전적으로 프로그램 때문이라고 단정하기는 어렵습니다.
왜 ‘준’실험이라고 부르는가
준실험연구의 ‘준’은 실험과 비슷하지만 완전한 실험은 아니라는 의미입니다.
연구자가 처치를 적용하고 그 결과를 비교한다는 점에서는 실험연구와 닮았습니다. 그러나 무작위 배정이 없거나 통제 조건이 충분하지 않아 외부 요인의 영향을 완전히 제거하기 어렵습니다.
그렇다고 준실험연구가 단순한 관찰연구인 것은 아닙니다.
준실험연구도 비교집단, 사전검사, 사후검사, 반복 측정 등의 방법을 활용하여 인과관계에 최대한 가까이 접근합니다.
실험연구와 준실험연구의 차이
두 연구의 차이를 한눈에 정리하면 다음과 같습니다.
| 구분 | 실험연구 | 준실험연구 |
|---|---|---|
| 독립변수 조작 | 있음 | 있음 |
| 통제집단 | 일반적으로 있음 | 있을 수도 있고 없을 수도 있음 |
| 무작위 배정 | 있음 | 없거나 불완전함 |
| 집단 구성 | 연구자가 무작위로 구성 | 기존 집단을 활용하는 경우가 많음 |
| 인과관계 추론 | 상대적으로 강함 | 실험연구보다 제한적 |
| 현실 적용 가능성 | 환경에 따라 제한될 수 있음 | 실제 현장에 적용하기 쉬움 |
| 대표 사례 | 무작위 대조시험 | 학급·병원·지역 간 프로그램 비교 |
가장 중요한 기준은 무작위 배정의 여부입니다.
통제집단이 있다고 해서 모두 실험연구가 되는 것은 아닙니다. 연구 참여자가 어떤 집단에 들어갈지 무작위로 결정되지 않았다면 일반적으로 준실험연구로 분류합니다.
무작위 배정이 중요한 이유
무작위 배정은 두 집단을 가능한 한 비슷하게 만드는 장치입니다.
새로운 운동 프로그램의 효과를 확인하기 위해 참여자들이 원하는 집단을 직접 선택하게 했다고 가정해 보겠습니다.
운동 의지가 강한 사람들은 새로운 프로그램 집단을 선택하고, 운동에 관심이 적은 사람들은 비교집단을 선택할 수 있습니다.
이후 새로운 프로그램 집단의 체중이 더 많이 감소했다면 그 결과가 프로그램 때문인지, 원래 운동 의지가 강했던 사람들의 특성 때문인지 구분하기 어렵습니다.
이를 선택 편향이라고 합니다.
무작위 배정을 하면 운동 의지, 나이, 생활 습관, 건강 상태와 같은 특성이 두 집단에 비교적 고르게 분산될 가능성이 커집니다.
다만 무작위 배정을 했다고 해서 모든 조건이 완벽하게 같아지는 것은 아닙니다. 특히 참여자 수가 적으면 우연히 한 집단에 특정 특성이 몰릴 수 있으므로 사전 특성 비교도 함께 살펴봐야 합니다.
실험연구의 대표적인 설계
사전검사·사후검사 통제집단 설계
실험집단과 통제집단을 무작위로 배정한 뒤, 처치 전후에 모두 검사를 실시하는 방식입니다.
두 집단의 사전 점수를 확인할 수 있기 때문에 처치 이전의 차이와 처치 이후의 변화를 함께 비교할 수 있습니다.
예를 들어 다음과 같이 설계할 수 있습니다.
- 실험집단: 사전검사 → 새로운 프로그램 → 사후검사
- 통제집단: 사전검사 → 기존 프로그램 → 사후검사
사후검사 통제집단 설계
참여자를 무작위로 배정한 뒤 처치를 실시하고, 사후검사만 진행하는 방식입니다.
사전검사 자체가 참여자의 행동에 영향을 줄 가능성이 있을 때 사용할 수 있습니다. 무작위 배정이 제대로 이루어졌다면 두 집단이 시작 시점에 비슷하다고 가정할 수 있습니다.
무작위 대조시험
무작위 대조시험은 참여자를 처치집단과 대조집단에 무작위로 배정하여 효과를 비교하는 연구입니다.
의학과 보건 분야에서 새로운 치료법, 약물, 예방 프로그램의 효과를 평가할 때 널리 사용됩니다. 흔히 영어 약자인 RCT로도 표시합니다.
준실험연구의 대표적인 설계
비동등성 대조집단 설계
이미 형성된 두 집단 중 한 집단에는 처치를 적용하고, 다른 집단에는 적용하지 않은 뒤 결과를 비교합니다.
두 집단이 무작위로 구성되지 않았으므로 ‘비동등성’이라는 표현을 사용합니다.
예를 들어 한 병원에는 새로운 간호 프로그램을 적용하고 다른 병원에는 기존 방식을 유지한 뒤 환자 만족도를 비교할 수 있습니다.
이때 병원 규모, 환자 구성, 의료진 경험 등이 결과에 영향을 줄 수 있으므로 사전검사와 통계적 통제가 중요합니다.
단일집단 사전·사후 설계
하나의 집단을 대상으로 프로그램 시행 전과 후의 결과를 비교합니다.
- 사전검사 → 프로그램 적용 → 사후검사
설계가 간단하고 현장에서 실행하기 쉽지만, 비교집단이 없다는 한계가 있습니다.
결과가 좋아졌더라도 프로그램 때문인지, 시간의 흐름이나 외부 사건 때문인지 명확하게 구분하기 어렵습니다.
시계열 설계
처치 전후로 결과를 여러 차례 반복 측정하는 방식입니다.
예를 들어 금연 정책 시행 전 12개월과 시행 후 12개월의 흡연율을 매월 측정할 수 있습니다.
한 번의 사전검사와 사후검사만 비교하는 것보다 기존 추세와 정책 시행 이후의 변화를 더 자세히 확인할 수 있습니다.
불연속 회귀 설계
특정 기준점을 중심으로 처치 여부가 결정되는 상황을 활용하는 방법입니다.
예를 들어 시험 점수 70점 미만 학생에게만 보충수업을 제공했다면, 69점을 받은 학생과 71점을 받은 학생은 능력이 비슷할 가능성이 큽니다. 기준점 주변 학생들의 결과를 비교하면 보충수업의 효과를 추정할 수 있습니다.
사례로 구분하는 가장 쉬운 방법
사례 1. 새로운 교수법 연구
연구자가 학생 100명을 무작위로 두 집단에 배정했습니다. 한 집단에는 새로운 교수법을 적용하고, 다른 집단에는 기존 교수법을 적용했습니다.
이 연구는 실험연구입니다.
연구자가 처치를 조작했고, 통제집단을 설정했으며, 학생들을 무작위로 배정했기 때문입니다.
사례 2. 두 학급의 수업 방식 비교
기존에 편성되어 있던 1반에는 새로운 교수법을 적용하고, 2반에는 기존 교수법을 적용했습니다.
이 연구는 준실험연구입니다.
두 학급은 연구자가 무작위로 구성한 집단이 아니기 때문입니다.
사례 3. 교육 전후 만족도 비교
한 회사에서 직원 교육을 실시한 뒤 교육 전후의 직무 만족도를 비교했습니다. 별도의 비교집단은 없었습니다.
이 연구 역시 준실험연구에 가깝습니다.
처치를 적용하고 전후 변화를 측정했지만, 무작위 배정과 통제집단이 없기 때문입니다.
사례 4. 프로그램 참여자의 자발적 선택
연구 참여자들이 새로운 프로그램과 기존 프로그램 중 하나를 직접 선택했습니다.
두 집단이 존재하더라도 무작위 배정이 아니므로 준실험연구로 보는 것이 적절합니다.
프로그램을 선택한 사람들의 동기나 성향이 결과에 영향을 줄 수 있기 때문입니다.
준실험연구에서 주의해야 할 오류
준실험연구에서는 처치 이외의 요인이 결과에 영향을 미칠 가능성을 특히 주의해야 합니다.
선택 효과
처치를 받은 집단과 비교집단의 특성이 처음부터 다른 경우입니다.
예를 들어 성적이 높은 학급에만 새로운 프로그램을 적용하면 프로그램 효과와 기존 학업 능력의 영향을 분리하기 어렵습니다.
역사 효과
연구 기간 중 발생한 외부 사건이 결과에 영향을 주는 경우입니다.
금융교육 프로그램 시행 후 저축액이 증가했더라도 같은 기간에 정부의 저축 장려 정책이 시행되었다면 변화의 원인을 구분해야 합니다.
성숙 효과
시간이 지나면서 참여자가 자연스럽게 변화하는 현상입니다.
어린이의 언어 능력이 향상된 이유가 교육 프로그램 때문일 수도 있지만, 성장하면서 자연스럽게 발달한 결과일 수도 있습니다.
평균으로의 회귀
극단적인 점수를 보인 참여자는 다음 검사에서 평균에 가까운 점수를 보일 수 있습니다.
성적이 매우 낮은 학생만 골라 프로그램을 적용한 뒤 점수가 상승했다면, 프로그램 효과뿐 아니라 평균으로의 회귀도 고려해야 합니다.
측정도구의 변화
사전검사와 사후검사에서 다른 측정도구나 평가 기준을 사용하면 실제 변화와 측정 방식의 변화를 구분하기 어렵습니다.
준실험연구의 신뢰도를 높이는 방법
준실험연구는 무작위 배정이 없다는 한계를 갖지만, 설계를 정교하게 구성하면 상당히 유용한 결과를 얻을 수 있습니다.
사전검사를 실시한다
처치 이전의 집단 차이를 확인하면 변화량을 비교할 수 있습니다.
단순히 사후 점수만 비교하는 것보다 각 집단이 출발점에서 얼마나 달랐는지 파악하는 것이 중요합니다.
가능한 한 유사한 비교집단을 선택한다
연령, 성별, 소득, 성적, 건강 상태 등 결과에 영향을 줄 수 있는 특성이 비슷한 집단을 선택해야 합니다.
여러 시점에서 반복 측정한다
처치 전후를 한 번씩만 측정하지 않고 여러 차례 측정하면 일시적인 변화와 지속적인 효과를 구분하기 쉬워집니다.
통계적으로 혼란변수를 통제한다
회귀분석, 공변량분석, 성향점수매칭 등의 방법을 활용하여 두 집단의 차이를 보정할 수 있습니다.
다만 통계적 보정이 무작위 배정을 완전히 대신하는 것은 아닙니다. 연구자가 측정하지 못한 변수는 여전히 결과에 영향을 줄 수 있습니다.
연구의 한계를 투명하게 설명한다
준실험연구 결과를 실제보다 강하게 해석하지 않아야 합니다.
“프로그램이 결과를 발생시켰다”고 단정하기보다는 “프로그램 적용 이후 결과가 개선되었으며, 두 현상 사이의 인과적 관련성을 시사한다”는 식으로 연구 설계에 맞게 표현하는 것이 적절합니다.
실험연구가 항상 더 좋은 것은 아니다
인과관계를 확인하는 데에는 실험연구가 강력하지만, 모든 연구에서 무작위 배정을 사용할 수 있는 것은 아닙니다.
예를 들어 흡연이 폐 건강에 미치는 영향을 확인하기 위해 비흡연자에게 강제로 흡연을 시킬 수는 없습니다. 윤리적인 문제가 있기 때문입니다.
학교 정책, 국가 제도, 재난 경험, 소득 변화처럼 연구자가 직접 조작하기 어려운 현상도 많습니다.
또한 실제 현장에서는 행정적·경제적 이유로 개인을 무작위로 배정하기 어려울 수 있습니다.
이런 상황에서는 잘 설계된 준실험연구가 현실과 동떨어진 실험보다 더 유용할 수 있습니다. 실제 학교, 병원, 지역사회에서 프로그램이 어떻게 작동하는지 보여 주기 때문입니다.
따라서 연구의 가치는 ‘실험’이라는 이름만으로 결정되지 않습니다. 연구 질문에 적합한 설계를 사용했는지, 비교집단이 타당한지, 다른 원인을 얼마나 충실히 통제했는지를 함께 평가해야 합니다.
논문에서 실험연구와 준실험연구를 구분하는 법
논문을 읽을 때는 다음 순서로 확인하면 빠르게 구분할 수 있습니다.
1. 연구자가 처치를 적용했는가
연구자가 프로그램, 교육, 치료, 정책 또는 조건을 직접 적용했다면 실험적 연구일 가능성이 있습니다.
단순히 기존 자료를 관찰하고 변수의 관계만 분석했다면 실험연구나 준실험연구가 아닐 수 있습니다.
2. 비교집단이 있는가
실험집단과 통제집단 또는 처치집단과 비교집단이 있는지 확인합니다.
비교집단이 없더라도 단일집단 사전·사후 설계와 같은 준실험연구일 수 있습니다.
3. 무작위 배정을 했는가
논문의 연구 방법에서 다음 표현을 찾아보면 도움이 됩니다.
- 무작위 배정
- 무선 할당
- 무작위화
- Random assignment
- Random allocation
- Randomized controlled trial
참여자를 집단에 무작위로 배정했다면 실험연구일 가능성이 높습니다.
반대로 학급, 병원, 지역, 기업 부서처럼 기존 집단을 사용했다면 준실험연구일 가능성이 큽니다.
4. 무작위 표집과 혼동하지 않는다
무작위 표집과 무작위 배정은 서로 다른 개념입니다.
- 무작위 표집: 모집단에서 연구 참여자를 무작위로 뽑는 방법
- 무작위 배정: 뽑힌 참여자를 실험집단과 통제집단에 무작위로 나누는 방법
실험연구를 판단할 때 중요한 것은 무작위 표집이 아니라 무작위 배정입니다.
참여자를 편의표집으로 모집했더라도 모집된 사람들을 실험집단과 통제집단에 무작위로 배정했다면 실험연구가 될 수 있습니다.
자주 묻는 질문
통제집단이 있으면 모두 실험연구인가
아닙니다.
통제집단이나 비교집단이 있더라도 참여자를 무작위로 배정하지 않았다면 일반적으로 준실험연구로 분류합니다.
사전검사와 사후검사를 하면 실험연구인가
아닙니다.
사전검사와 사후검사는 시간에 따른 변화를 확인하는 측정 방식입니다. 실험연구 여부를 결정하는 핵심 기준은 처치 조작, 비교집단, 무작위 배정입니다.
준실험연구에서는 인과관계를 말할 수 없는가
인과관계를 전혀 논의할 수 없는 것은 아닙니다.
비교집단을 적절하게 설정하고, 처치 전후를 반복 측정하며, 다른 설명 가능성을 충분히 통제했다면 인과적 효과를 추정할 수 있습니다.
다만 무작위 배정이 없기 때문에 실험연구보다 신중하게 해석해야 합니다.
무작위 대조시험은 실험연구인가
그렇습니다.
참여자를 처치집단과 대조집단에 무작위로 배정하는 무작위 대조시험은 대표적인 실험연구입니다.
한 집단만 조사해도 준실험연구가 될 수 있는가
가능합니다.
한 집단을 대상으로 처치 전후를 측정하는 단일집단 사전·사후 설계는 준실험설계로 분류될 수 있습니다. 다만 비교집단이 없어 인과관계 해석에는 큰 주의가 필요합니다.
결론
실험연구와 준실험연구는 모두 특정 처치나 프로그램의 효과를 확인하는 연구 방법입니다.
두 방법을 구분하는 가장 중요한 기준은 연구 참여자를 집단에 무작위로 배정했는가입니다.
- 무작위 배정을 실시했다면 실험연구
- 기존 집단을 사용하거나 참여자가 집단을 선택했다면 준실험연구
실험연구는 다른 요인의 영향을 줄이고 인과관계를 비교적 강하게 추론할 수 있다는 장점이 있습니다. 준실험연구는 인과관계 해석에 더 많은 주의가 필요하지만, 학교·병원·기업·지역사회처럼 무작위 배정이 어려운 실제 현장을 연구할 수 있다는 가치가 있습니다.
논문을 읽을 때는 연구 제목에 적힌 ‘실험’이라는 단어만 보지 말고, 연구 방법에서 처치 조작, 비교집단, 무작위 배정이 실제로 어떻게 이루어졌는지 확인해야 합니다.
이 세 가지를 차례로 살펴보면 실험연구와 준실험연구를 훨씬 정확하게 구분할 수 있습니다.