이중질문을 발견하고 고치는 방법: 설문 문항의 타당도를 높이는 실전 가이드

설문지를 검토하다 보면 문장은 자연스럽고 응답하기도 쉬워 보이는데, 막상 결과를 해석하려 할 때 의미가 흐려지는 문항이 있습니다. 한 문장 안에서 서로 다른 두 가지를 동시에 묻는 이중질문이 대표적인 사례입니다.

예를 들어 “이 수업은 흥미롭고 이해하기 쉬웠습니까?”라는 문항을 생각해 보겠습니다. 어떤 학생에게 수업은 흥미로웠지만 이해하기 어려웠을 수 있습니다. 반대로 내용은 쉬웠지만 흥미롭지 않았을 수도 있습니다. 그런데 응답자는 하나의 선택지만 골라야 합니다.

이처럼 이중질문은 응답자를 망설이게 할 뿐 아니라 연구자가 측정하려는 개념까지 흐리게 만듭니다. 이 글에서는 이중질문이 무엇인지, 설문지와 면담 질문에서 어떻게 발견하는지, 그리고 문항의 의미를 훼손하지 않으면서 고치는 방법을 단계별로 살펴보겠습니다.

이중질문이란 무엇인가

이중질문은 하나의 문항에서 두 개 이상의 서로 다른 속성, 행동, 판단 또는 경험을 동시에 묻는 질문입니다. 영어로는 일반적으로 double-barreled question이라고 합니다.

이중질문은 응답자가 한 부분에는 동의하고 다른 부분에는 동의하지 않을 가능성이 있는데도 하나의 응답만 선택하도록 요구하는 문항입니다.

다음 문항을 살펴보겠습니다.

“회사의 급여와 복지제도에 만족하십니까?”

이 문항에는 다음과 같은 두 개의 평가 대상이 들어 있습니다.

  • 급여에 대한 만족도
  • 복지제도에 대한 만족도

급여에는 만족하지만 복지제도에는 불만이 있는 직원은 어떤 응답을 선택해야 할까요? ‘보통’을 선택할 수는 있지만, 그 응답이 급여와 복지에 모두 보통이라는 뜻인지, 한쪽은 만족하고 다른 쪽은 불만이라는 뜻인지 알 수 없습니다.

이중질문의 핵심 문제는 문장이 길다는 데 있지 않습니다. 문장이 짧더라도 서로 독립적으로 판단할 수 있는 두 가지 대상을 함께 묻는다면 이중질문이 될 수 있습니다.

이중질문이 문제가 되는 이유

응답자가 정확한 선택지를 고르기 어렵다

응답자가 질문의 두 부분에 대해 서로 다른 의견을 가지고 있다면 하나의 선택지로 자신의 생각을 표현하기 어렵습니다. 결국 응답자는 질문의 일부만 기준으로 답하거나, 두 판단을 평균하여 모호한 응답을 선택하게 됩니다.

연구자가 응답의 의미를 해석할 수 없다

“온라인 강의의 내용과 시스템에 만족한다”라는 문항에서 낮은 점수가 나왔다고 가정해 보겠습니다. 연구자는 낮은 점수의 원인이 강의 내용인지, 영상 재생 시스템인지, 둘 다인지 구분할 수 없습니다.

데이터는 존재하지만 무엇을 의미하는지는 불분명한 상태가 됩니다. 숫자는 또렷해 보여도 그 안의 의미는 안개에 잠겨 있는 셈입니다.

측정 타당도가 낮아질 수 있다

타당도는 측정도구가 연구자가 측정하려는 개념을 얼마나 적절하게 측정하는지를 뜻합니다. 한 문항에 여러 개념이 섞이면 해당 문항이 정확히 어떤 개념을 측정하는지 모호해집니다.

예를 들어 연구자가 ‘교수자 만족도’를 측정하려는데 문항에서 교수자의 설명 능력과 친절성을 함께 묻는다면, 응답 결과가 어느 속성을 반영하는지 판단하기 어렵습니다.

실제 개선 방향을 찾기 어렵다

고객 만족도 조사에서 “배송은 빠르고 포장은 안전했습니까?”라는 질문에 낮은 점수가 나왔다고 해도 무엇을 개선해야 하는지 알기 어렵습니다.

  • 배송 속도를 개선해야 하는가
  • 포장 상태를 개선해야 하는가
  • 두 영역을 모두 개선해야 하는가

조사 결과를 정책이나 서비스 개선에 활용하려면 각 평가 대상을 분리해 측정해야 합니다.

응답자마다 질문을 다르게 해석할 수 있다

일부 응답자는 질문의 첫 번째 요소를 중심으로 답하고, 다른 응답자는 두 번째 요소를 중심으로 답할 수 있습니다. 같은 선택지를 고른 응답자들이 실제로는 서로 다른 기준으로 응답하는 문제가 생깁니다.

자주 나타나는 이중질문의 유형

두 개의 평가 대상을 연결한 질문

수정 전

“교수자의 설명과 피드백에 만족하십니까?”

문제점

설명 능력과 피드백의 적절성은 서로 관련될 수 있지만 동일한 평가 대상은 아닙니다. 설명은 명확했지만 피드백이 부족했을 수도 있습니다.

수정 후

  • “교수자의 설명은 이해하기 쉬웠습니까?”
  • “교수자가 제공한 피드백은 학습에 도움이 되었습니까?”

두 개의 행동을 동시에 묻는 질문

수정 전

“논문을 읽고 요약하는 데 어려움을 느낍니까?”

문제점

논문을 읽는 것과 읽은 내용을 요약하는 것은 서로 다른 활동입니다. 읽기는 어렵지 않지만 요약은 어려울 수 있습니다.

수정 후

  • “논문의 내용을 이해하며 읽는 데 어려움을 느낍니까?”
  • “논문의 핵심 내용을 요약하는 데 어려움을 느낍니까?”

두 개의 감정이나 태도를 함께 묻는 질문

수정 전

“새로운 평가제도가 공정하고 효과적이라고 생각하십니까?”

문제점

제도가 효과적이지만 공정하지 않다고 판단할 수 있고, 공정하지만 실제 효과는 낮다고 생각할 수도 있습니다.

수정 후

  • “새로운 평가제도가 공정하다고 생각하십니까?”
  • “새로운 평가제도가 업무 성과를 높이는 데 효과적이라고 생각하십니까?”

원인과 결과를 한 문항에 넣은 질문

수정 전

“업무량이 많아서 스트레스를 받고 있습니까?”

문제점

이 질문에는 업무량과 스트레스 수준뿐 아니라 업무량이 스트레스의 원인이라는 인과관계까지 포함되어 있습니다. 응답자는 스트레스를 느끼지만 그 원인이 인간관계나 역할 갈등이라고 생각할 수 있습니다.

수정 후

  • “현재 맡고 있는 업무량이 많다고 느끼십니까?”
  • “최근 업무로 인해 스트레스를 느낀 적이 있습니까?”
  • “업무량이 업무 스트레스에 어느 정도 영향을 미친다고 생각하십니까?”

서로 다른 시간대를 함께 묻는 질문

수정 전

“입사 당시와 현재 회사생활에 만족하십니까?”

문제점

입사 당시의 만족도와 현재 만족도는 달라질 수 있습니다. 두 시점의 평가를 하나로 묶으면 변화 여부를 확인할 수 없습니다.

수정 후

  • “입사 당시 회사생활에 얼마나 만족했습니까?”
  • “현재 회사생활에 얼마나 만족하고 있습니까?”

긍정적 평가와 부정적 평가를 섞은 질문

수정 전

“이 프로그램은 유용하고 불편하지 않았습니까?”

문제점

‘유용하다’는 긍정적 평가와 ‘불편하지 않다’는 부정 표현이 함께 들어가 있어 응답 방향까지 혼란스럽습니다.

수정 후

  • “이 프로그램은 목적을 달성하는 데 유용했습니까?”
  • “이 프로그램을 사용하는 과정은 편리했습니까?”

이중질문을 발견하는 방법

접속사를 먼저 표시한다

문항을 검토할 때 다음과 같은 접속 표현에 밑줄을 그어 보십시오.

  • 그리고
  • 또는
  • 동시에
  • 뿐만 아니라
  • 하면서
  • 때문에
  • 하지만

접속사가 있다고 해서 모든 문항이 이중질문인 것은 아닙니다. 다만 ‘A와 B’, ‘A 및 B’ 구조는 서로 다른 평가 대상을 묶고 있을 가능성이 높습니다.

예를 들어 “서비스가 빠르고 정확했습니까?”라는 문항에서는 속도와 정확성을 각각 따로 판단할 수 있습니다. 따라서 두 문항으로 분리하는 편이 좋습니다.

부분별로 다른 답을 할 수 있는지 확인한다

이중질문을 발견하는 가장 강력한 방법은 문항을 두 부분으로 나눈 뒤 다음 질문을 던지는 것입니다.

응답자가 첫 번째 부분에는 동의하고 두 번째 부분에는 동의하지 않을 수 있는가?

그 가능성이 있다면 이중질문일 가능성이 큽니다.

예를 들어 “학교 도서관은 조용하고 이용하기 편리하다”라는 문항을 살펴보겠습니다.

  • 도서관은 조용하지만 좌석 예약이 불편할 수 있습니다.
  • 이용은 편리하지만 소음이 심할 수 있습니다.

두 평가에 서로 다른 답이 가능하므로 분리해야 합니다.

문항 안의 명사와 동사를 세어 본다

하나의 문항에 평가 대상이 되는 명사나 행동을 나타내는 동사가 여러 개 등장한다면 주의해야 합니다.

예를 들어 “상담 직원은 고객의 말을 경청하고 문제를 신속하게 해결했다”라는 문항에는 두 행동이 있습니다.

  1. 고객의 말을 경청함
  2. 문제를 신속하게 해결함

상담 직원이 친절하게 경청했지만 문제 해결에는 실패했을 수 있으므로 문항을 분리해야 합니다.

응답 선택지가 모든 경우를 표현할 수 있는지 점검한다

‘매우 그렇다’부터 ‘전혀 그렇지 않다’까지의 리커트 척도를 사용할 때는 하나의 척도 응답이 문항 전체에 자연스럽게 적용되는지 확인해야 합니다.

문항의 일부에는 ‘매우 그렇다’, 다른 일부에는 ‘전혀 그렇지 않다’라고 답할 수 있다면 현재 선택지로는 응답자의 생각을 표현할 수 없습니다.

문항을 소리 내어 읽어 본다

문항을 눈으로만 읽을 때는 문장의 흐름이 자연스러워 문제를 발견하지 못할 수 있습니다. 그러나 소리 내어 읽으면 한 호흡에 너무 많은 판단을 요구하거나, 문장 중간에서 평가 대상이 바뀌는 순간을 쉽게 알아차릴 수 있습니다.

인지면담을 실시한다

인지면담은 예비 응답자에게 문항을 제시한 뒤 다음과 같은 질문을 통해 응답 과정을 확인하는 방법입니다.

  • 이 질문을 어떤 의미로 이해했습니까?
  • 응답을 선택할 때 무엇을 기준으로 판단했습니까?
  • 답하기 어려웠던 부분이 있었습니까?
  • 질문의 두 부분에 대한 생각이 서로 달랐습니까?

연구자에게는 하나의 개념처럼 보였던 표현이 응답자에게는 두 개의 판단으로 인식될 수 있습니다. 인지면담은 문항을 작성한 사람의 시선에서 벗어나는 데 특히 유용합니다.

소규모 예비조사를 진행한다

본조사 전에 소규모 예비조사를 실시하면 응답자가 특정 문항에서 오래 머물거나, 중간 응답을 과도하게 선택하거나, 문항에 대한 질문을 반복하는지를 확인할 수 있습니다.

다음과 같은 신호가 나타나면 이중질문 가능성을 점검해야 합니다.

  • “둘 중 어느 것을 기준으로 답해야 하나요?”라는 질문이 나온다.
  • 응답자가 문항의 앞부분과 뒷부분을 따로 설명한다.
  • ‘보통’이나 중간값 응답이 유난히 많다.
  • 자유응답란에 조건부 설명이 자주 등장한다.
  • 문항에 답하는 시간이 다른 문항보다 길다.

이중질문을 고치는 방법

가장 확실한 방법은 문항을 분리하는 것이다

두 가지 속성을 측정하고 싶다면 각각 별도의 문항으로 나누는 것이 기본 원칙입니다.

수정 전

“웹사이트의 디자인과 사용 편의성에 만족하십니까?”

수정 후

  1. “웹사이트의 시각적 디자인에 만족하십니까?”
  2. “웹사이트에서 원하는 정보를 찾는 과정이 편리했습니까?”

문항 수는 하나 늘어나지만 얻을 수 있는 정보는 훨씬 선명해집니다. 디자인은 만족스럽지만 탐색 구조가 불편한지, 디자인과 편의성 모두 문제가 있는지 구분할 수 있기 때문입니다.

연구 목적과 관계없는 요소는 삭제한다

모든 요소를 반드시 별도의 문항으로 만들 필요는 없습니다. 연구 목적에 직접 관련되지 않는 요소라면 삭제하는 편이 좋습니다.

예를 들어 연구 목적이 ‘교수자의 설명 명료성’을 측정하는 것이라면 다음 문항에서 친절성은 제거할 수 있습니다.

수정 전

“교수자는 친절하고 이해하기 쉽게 설명했다.”

수정 후

“교수자의 설명은 이해하기 쉬웠다.”

문항을 분리하기 전에 먼저 각각의 요소가 연구 질문과 변수 정의에 필요한지 확인해야 합니다.

추상적인 단어를 관찰 가능한 표현으로 바꾼다

‘좋다’, ‘효과적이다’, ‘편리하다’와 같은 표현은 여러 의미를 포함할 수 있습니다. 평가 기준을 구체화하면 숨어 있던 이중질문을 줄일 수 있습니다.

모호한 문항

“온라인 수업 시스템은 편리하고 효과적이었다.”

구체화한 문항

  • “온라인 수업 영상에 접속하는 과정은 간단했다.”
  • “온라인 수업 시스템에서 과제를 제출하는 방법을 쉽게 찾을 수 있었다.”
  • “온라인 수업 시스템은 학습 내용을 이해하는 데 도움이 되었다.”

각 문항에 하나의 측정 목적만 부여한다

문항을 작성하기 전에 해당 문항이 무엇을 측정하는지 한 문장으로 적어 보십시오.

문항 측정 목적
강의 자료는 이해하기 쉬웠다. 강의 자료의 이해 용이성
강의 자료는 실제 과제를 수행하는 데 도움이 되었다. 강의 자료의 실용성
강의 자료의 분량은 적절했다. 강의 자료의 분량 적절성

하나의 문항에 측정 목적을 두 개 이상 적어야 한다면 문항을 분리해야 할 가능성이 높습니다.

응답 기준과 시간 범위를 명확히 한다

서로 다른 경험이 하나의 문항에 섞이는 것을 막으려면 평가 대상뿐 아니라 시간 범위도 분명하게 제시해야 합니다.

수정 전

“평소와 최근에 수면 문제를 경험했습니까?”

수정 후

“지난 2주 동안 잠드는 데 어려움을 경험한 날은 며칠입니까?”

시간 범위와 측정할 행동이 구체적일수록 응답자는 동일한 기준으로 답할 수 있습니다.

분리한 문항의 척도를 동일하게 유지한다

하나의 문항을 두 개로 나눈 뒤에는 가능하면 동일한 응답 척도를 사용하는 것이 좋습니다.

예를 들어 서비스 속도와 정확성을 각각 측정한다면 두 문항 모두 다음과 같은 척도를 사용할 수 있습니다.

  • 1점: 전혀 만족하지 않는다
  • 2점: 만족하지 않는다
  • 3점: 보통이다
  • 4점: 만족한다
  • 5점: 매우 만족한다

척도가 같으면 응답 부담이 줄고 결과 비교도 쉬워집니다. 다만 측정 대상의 성격이 다르다면 억지로 같은 척도를 적용해서는 안 됩니다.

한 문항에 하나의 행동, 하나의 대상, 하나의 시간대를 적용한다

문항을 고칠 때 다음 원칙을 활용하면 판단이 쉬워집니다.

하나의 문항에는 하나의 주요 행동, 하나의 평가 대상, 하나의 시간 범위만 담는다.

예를 들어 다음 문항은 여러 요소가 섞여 있습니다.

“지난 학기와 이번 학기에 교수자의 설명을 이해하고 과제를 수행하는 데 어려움이 있었습니까?”

이 문항은 필요에 따라 다음처럼 분리할 수 있습니다.

  • “이번 학기에 교수자의 설명을 이해하는 데 어려움이 있었습니까?”
  • “이번 학기에 과제를 수행하는 데 어려움이 있었습니까?”
  • “지난 학기와 비교할 때 이번 학기의 과제 수행 어려움은 어떻게 달라졌습니까?”

이중질문 수정 전후 사례

수정 전 문항 문제점 수정 방향
시설이 깨끗하고 안전했습니까? 청결성과 안전성을 동시에 측정함 청결성과 안전성을 별도 문항으로 분리
상사는 공정하고 친절하다. 공정성과 친절성은 다른 속성임 각 속성에 대한 문항을 따로 작성
앱은 빠르고 사용하기 쉽다. 처리 속도와 사용 편의성을 함께 평가함 속도와 편의성 문항으로 분리
교육은 흥미롭고 업무에 도움이 되었다. 흥미와 실용성은 서로 다를 수 있음 흥미도와 업무 활용도를 각각 측정
정책을 알고 지지하십니까? 인지 여부와 지지 태도를 함께 측정함 정책 인지도와 지지도를 분리
제품을 구매하고 추천할 의향이 있습니까? 구매 의도와 추천 의도는 다른 행동임 구매 의향과 추천 의향을 별도로 질문
가격이 저렴하고 품질이 좋습니까? 가격 평가와 품질 평가를 동시에 요구함 가격 적절성과 품질 만족도로 분리

모든 ‘그리고’ 문장이 이중질문은 아니다

문항에 ‘그리고’나 ‘및’이 포함되어 있다고 해서 자동으로 이중질문이 되는 것은 아닙니다. 두 요소가 하나의 단일 개념이나 고정된 절차를 구성한다면 반드시 분리할 필요는 없습니다.

예를 들어 “개인정보 수집 및 이용에 동의하십니까?”라는 표현은 법적 맥락에서 하나의 동의 절차로 사용될 수 있습니다. 다만 연구 문항에서는 수집에 대한 태도와 이용에 대한 태도가 서로 다를 가능성이 있는지 다시 검토해야 합니다.

다음 질문을 기준으로 판단할 수 있습니다.

  • 두 요소를 서로 독립적으로 평가할 수 있는가?
  • 한 요소에는 동의하고 다른 요소에는 반대할 수 있는가?
  • 각 요소를 분리했을 때 연구적으로 의미 있는 정보가 나오는가?
  • 응답자가 하나의 선택지로 두 요소에 대한 생각을 충분히 표현할 수 있는가?

핵심은 접속사의 존재가 아니라 응답자가 서로 다른 답을 할 수 있는 두 판단이 하나로 묶여 있는가입니다.

면담 질문에서도 이중질문을 주의해야 한다

이중질문은 폐쇄형 설문 문항에서만 발생하지 않습니다. 질적연구의 면담 질문에서도 한 번에 여러 가지를 물으면 참여자가 일부 질문만 답하거나 답변의 초점이 흐려질 수 있습니다.

수정 전

“온라인 수업을 처음 시작했을 때 어떤 어려움을 겪었고, 그것을 어떻게 해결했으며, 학교의 지원은 도움이 되었습니까?”

이 질문에는 최소 세 가지 질문이 포함되어 있습니다.

  1. 어떤 어려움을 경험했는가
  2. 그 어려움을 어떻게 해결했는가
  3. 학교의 지원이 도움이 되었는가

면담 참여자는 마지막 질문만 기억하거나 가장 말하기 쉬운 부분만 답할 수 있습니다.

수정 후

  1. “온라인 수업을 처음 시작했을 때 어떤 어려움을 경험했습니까?”
  2. “그 어려움에 어떻게 대처했습니까?”
  3. “학교에서 제공한 지원 중 도움이 된 것이 있었습니까?”

면담에서는 먼저 하나의 중심 질문을 제시하고, 참여자의 답변에 따라 후속 질문을 이어가는 방식이 좋습니다. 여러 질문을 한꺼번에 던지는 것보다 대화의 흐름도 자연스럽고 풍부한 답변을 얻기 쉽습니다.

이중질문과 유도질문은 어떻게 다른가

이중질문과 유도질문은 모두 응답의 질을 떨어뜨릴 수 있지만 문제의 성격은 다릅니다.

구분 이중질문 유도질문
핵심 문제 두 개 이상의 내용을 하나의 문항에서 묻는다. 특정한 답이 바람직하다는 인상을 준다.
예시 “서비스가 빠르고 친절했습니까?” “대부분의 고객처럼 이 서비스가 만족스러웠습니까?”
응답자 어려움 두 부분에 대한 의견이 다를 때 답하기 어렵다. 연구자가 기대하는 답에 영향을 받을 수 있다.
수정 방법 문항을 분리하거나 불필요한 요소를 삭제한다. 중립적인 표현으로 바꾼다.

하나의 문항이 이중질문이면서 동시에 유도질문일 수도 있습니다.

예를 들어 “효율적이고 혁신적인 새 제도를 계속 확대해야 한다고 생각하십니까?”라는 문항은 효율성과 혁신성을 동시에 전제하며, 제도 확대에 찬성하는 방향으로 응답자를 유도합니다.

문항 수가 늘어나는 것이 걱정될 때

이중질문을 모두 분리하면 설문지가 길어질 수 있습니다. 그러나 문항 수를 줄이기 위해 서로 다른 개념을 억지로 묶으면 응답 자료의 해석 가능성이 낮아집니다.

설문 길이를 줄여야 한다면 두 개념을 한 문항에 합치기보다 다음 순서로 정리하는 편이 안전합니다.

  1. 연구 질문과 직접 관련되지 않는 문항을 삭제합니다.
  2. 비슷한 문항이 반복되고 있는지 확인합니다.
  3. 하나의 변수를 측정하는 문항 수가 지나치게 많지 않은지 검토합니다.
  4. 응답 분석에 실제로 사용하지 않을 문항을 제거합니다.
  5. 긴 문장과 불필요한 설명을 간결하게 줄입니다.

좋은 설문지는 무조건 짧은 설문지가 아닙니다. 응답자가 각 질문의 의미를 명확히 이해하고 자신의 생각을 정확히 표현할 수 있는 설문지가 좋은 설문지입니다.

이중질문 점검 체크리스트

설문지를 확정하기 전에 각 문항을 다음 기준으로 검토해 보십시오.

  • 한 문항에서 두 개 이상의 평가 대상을 묻고 있지 않은가?
  • ‘그리고’, ‘및’, ‘또는’으로 서로 다른 개념을 연결하지 않았는가?
  • 응답자가 문항의 앞부분과 뒷부분에 서로 다르게 답할 수 있는가?
  • 하나의 문항에 여러 행동이 포함되어 있지 않은가?
  • 서로 다른 시간대의 경험을 함께 묻고 있지 않은가?
  • 원인과 결과를 하나의 문항에서 동시에 단정하지 않았는가?
  • 하나의 응답 척도가 문항 전체에 자연스럽게 적용되는가?
  • 이 문항이 측정하는 개념을 한 문장으로 명확히 설명할 수 있는가?
  • 문항을 분리하면 분석과 해석에 유용한 정보가 추가되는가?
  • 예비 응답자가 질문의 의미를 동일하게 이해하는가?

이 중 하나라도 확신하기 어렵다면 문항을 분리하거나 표현을 다시 작성하는 것이 좋습니다.

5단계로 끝내는 이중질문 수정 절차

  1. 문항 속 평가 대상과 행동을 표시합니다.

    명사, 동사, 형용사에 표시하여 문항에서 몇 가지 판단을 요구하는지 확인합니다.

  2. 각 요소에 서로 다른 답이 가능한지 검토합니다.

    첫 번째 요소에는 동의하고 두 번째 요소에는 반대할 수 있다면 분리가 필요합니다.

  3. 연구 목적에 필요한 요소를 선택합니다.

    두 요소가 모두 필요하면 분리하고, 하나만 필요하다면 나머지는 삭제합니다.

  4. 각 문항에 하나의 측정 목적을 부여합니다.

    문항 옆에 측정하려는 변수나 하위요인을 적어 봅니다.

  5. 예비 응답자를 통해 다시 확인합니다.

    문항을 어떻게 이해했는지 묻고, 응답 과정에서 혼란이 있었는지 점검합니다.

자주 묻는 질문

이중질문은 반드시 두 문항으로 분리해야 하나요?

두 요소가 모두 연구 목적에 필요하고 서로 독립적으로 평가될 수 있다면 분리하는 것이 원칙입니다. 한 요소가 연구 목적과 관련이 없다면 불필요한 부분을 삭제할 수 있습니다.

서로 관련된 두 개념도 분리해야 하나요?

두 개념이 높은 관련성을 가진다고 해서 같은 개념은 아닙니다. 응답자가 서로 다른 판단을 할 수 있다면 분리해야 합니다. 예를 들어 서비스의 친절성과 전문성은 관련될 수 있지만, 친절하면서도 전문성이 부족할 수 있습니다.

‘A 또는 B’를 사용하는 질문도 이중질문인가요?

그럴 수 있습니다. “지난 한 달 동안 불안하거나 우울한 적이 있었습니까?”라는 질문에서 불안과 우울은 서로 다른 경험입니다. 어느 하나만 경험한 응답자의 답을 해석하기 어려우므로 각각 질문하는 편이 좋습니다.

객관식 복수응답 문항도 이중질문인가요?

반드시 그렇지는 않습니다. “다음 중 이용한 서비스를 모두 선택하십시오”처럼 복수응답을 허용하고 각 선택지가 명확히 구분된다면 여러 항목을 제시할 수 있습니다. 문제는 서로 다른 내용을 하나의 판단과 하나의 응답으로 묶을 때 발생합니다.

면담에서는 여러 질문을 한꺼번에 해도 괜찮지 않나요?

면담에서는 추가 질문이 가능하지만, 한 번에 여러 질문을 제시하면 참여자가 일부만 기억하거나 답변의 초점을 잃을 수 있습니다. 중심 질문을 하나씩 제시하고 답변에 따라 탐색 질문을 이어가는 방식이 더 효과적입니다.

이중질문이 신뢰도에도 영향을 미치나요?

영향을 줄 수 있습니다. 응답자마다 문항의 서로 다른 부분을 기준으로 답하면 응답의 일관성이 낮아질 수 있습니다. 다만 신뢰도 수치가 높다고 해서 이중질문이 없다는 뜻은 아닙니다. 문항의 내용 타당성과 해석 가능성을 별도로 검토해야 합니다.

마무리: 한 문항에는 하나의 판단만 남긴다

이중질문은 문법적으로 틀린 문장이라서 문제가 되는 것이 아닙니다. 문장이 지나치게 자연스러워 오히려 발견하기 어려운 경우도 많습니다. “빠르고 친절한 서비스”, “흥미롭고 유익한 수업”, “공정하고 효과적인 정책”처럼 일상적으로 함께 사용하는 표현이 설문 문항에서는 서로 다른 측정 대상이 될 수 있습니다.

이중질문을 발견할 때는 문항 안의 접속사를 찾는 것에서 시작하되, 최종적으로는 다음 질문을 던져야 합니다.

응답자가 이 문장의 각 부분에 서로 다른 답을 할 가능성이 있는가?

답이 ‘그렇다’라면 문항을 분리하거나 불필요한 요소를 삭제해야 합니다. 설문 문항 하나에 하나의 판단만 남겨 두면 응답자는 더 쉽게 답할 수 있고, 연구자는 결과를 더 정확하게 해석할 수 있습니다.

좋은 문항은 많은 것을 한꺼번에 묻는 문항이 아닙니다. 하나의 질문이 하나의 의미를 또렷하게 비추는 문항입니다. 작은 문장 하나를 분리하는 작업이 연구자료 전체의 선명도를 바꾸는 이유도 여기에 있습니다.