⊙ 여론조사는 통계, 자칫하면 ‘장님 코끼리 만지기’ 될 수 있어
⊙ 유의미한 표본조사의 결과를 얻기 위해서는 다양한 변수 충분히 고려,
표본 산출방법 정확하게 설계해야
이충국
1963년생. 연세대 교육대학원 교육학 석사 / 생각하는 수학교실(CMS에듀의 전신) 설립,
세계수학올림피아드 WMO (World Mathematical Olympiad) 부위원장, CMS에듀 대표이사
(2003.7~) / 《초등학생이 반드시 알아야 할 똑똑한 수학 공부법》 《엄마도 꼭 알아야 할
똑똑한 수학 공부법》 《잠자는 수학 두뇌를 깨우는 창의사고 수학》 출간
⊙ 유의미한 표본조사의 결과를 얻기 위해서는 다양한 변수 충분히 고려,
표본 산출방법 정확하게 설계해야
이충국
1963년생. 연세대 교육대학원 교육학 석사 / 생각하는 수학교실(CMS에듀의 전신) 설립,
세계수학올림피아드 WMO (World Mathematical Olympiad) 부위원장, CMS에듀 대표이사
(2003.7~) / 《초등학생이 반드시 알아야 할 똑똑한 수학 공부법》 《엄마도 꼭 알아야 할
똑똑한 수학 공부법》 《잠자는 수학 두뇌를 깨우는 창의사고 수학》 출간
- 여론조사 결과와는 달리 영국인들은 브렉시트 투표에서 탈퇴를 지지했다.
2016년 6월 23일, 전 세계 수많은 사람의 이목이 영국에 집중되었습니다. 그 이유는 바로 전 영국 국민을 대상으로 한 ‘브렉시트(Brexit)’ 국민투표가 실시되었기 때문입니다.
이번 국민투표는 2013년 선거를 치르던 데이비드 캐머런 현 영국 총리의 EU 탈퇴 여부를 묻는 국민투표를 하겠다는 공약에 의해 실시되었습니다. 영국의 EU 탈퇴는 세계 경제 시장에 상당히 큰 영향을 끼치기 때문에 국민투표를 실시하기 이전부터 유럽은 물론 미국, 일본 등 많은 국가는 영국의 EU 탈퇴 반대 여론을 형성하는가 하면, 각종 언론매체 및 기관에서 투표의 결과를 예측하는 ‘여론조사’를 실시하여 추이를 분석하기도 하였습니다.
실제로 6월 21일부터 22일 자정까지 실시한 어떤 여론조사에서는 영국의 EU 잔류를 지지하는 응답자가 전체 응답자의 55%, 탈퇴를 지지한다는 응답자가 45%였으며, 21일부터 22일 오후 9시까지 실시한 설문조사에서는 EU 잔류를 지지하는 응답자가 52%, 탈퇴를 지지한다는 응답자가 48%로, 한때 영국의 EU 잔류에 힘이 실리기도 하였습니다.
하지만 실제 투표 결과는 이러한 예상을 비웃기라도 하듯이 탈퇴 51.9%, 잔류 48.1%로 나타나 많은 이를 당황하게 만들었습니다.
이렇게 여론조사의 결과와 실제 결과가 차이가 발생하는 일은 비단 영국에서뿐만 아니라 우리나라, 심지어 통계학이 발달한 미국에서조차 발생하곤 하는데, 그 이유는 무엇일까요? 또 조사를 실시한 기관 혹은 날짜마다 이러한 수치가 조금씩 차이를 보이기도 하는 이유는 무엇일까요?
각종 여론조사에서 자료를 수집하는 과정과 자료를 해석하는 과정을 살펴보고, 이를 통해 우리가 어디까지 정보를 신뢰하고 활용해야 하는지에 대해 알아보도록 하겠습니다.
여론조사 실패로 문 닫은 잡지사
통계를 이용한 기술은 아주 오래전으로 거슬러 올라가 로마시대의 5년마다 전 인구를 직접 헤아리고 재산을 일제히 등록하는 ‘센서스(Census)’라는 제도에서도 확인할 수 있습니다. 이렇게 관심의 대상이 되는 집단 전체를 조사하여 특성을 파악하는 통계조사 방법을 ‘전수(全數)조사’라고 합니다.
이러한 방법은 집단의 규모가 매우 클 경우, 엄청난 비용과 시간이 소요되는 문제점을 갖고 있습니다. 그래서 대개의 통계조사는 ‘표본(標本)조사’를 통해 이루어지고 있습니다. 이는 관심의 대상이 되는 전체 집단 중 일부를 선택하고, 선택된 집단만을 대상으로 조사한 뒤, 그 조사 결과를 일반화하여 전체 집단의 특성을 추정하는 통계조사 방법으로, 20세기 중반 이후 미국을 중심으로 발전하였습니다.
표본조사는 자칫 잘못하면 ‘장님 코끼리 만지기’가 될 수 있어 각별한 주의가 필요합니다. 코끼리의 일부만을 만져보고 코끼리 전체의 모습을 비슷하게 그릴 수 없듯이, 대표성이 없는 표본을 선정하여 얻은 자료를 바탕으로 전체 집단의 특성을 추정하는 데는 분명 한계가 있기 때문입니다.
예를 들어 1936년, 《리터러리 다이제스트(Literary Digest)》라는 잡지사는 미국 대선 후보인 공화당의 랜던(Alfred M. Landon) 후보와 민주당의 루스벨트(Franklin D. Roosevelt) 후보의 선거 결과를 예측하기 위해 1000만명의 유권자에게 설문지를 우편으로 발송한 뒤, 230만명에게 회수한 응답을 분석하여 랜던 후보의 당선이 확실하다는 예측 결과를 발표하게 됩니다.
실제 선거에서 루스벨트가 압도적인 차이로 당선되었으며, 이 잡지사는 이후 폐간의 길로 접어들게 됩니다. 무려 230만명의 설문 결과를 토대로 분석된 예측 결과가 틀린 이유는 무엇일까요? 그 이유는 바로 표본의 설정이 잘못되었기 때문입니다. 이 잡지사는 잡지의 정기 구독자와 전화번호부를 근거로 표본을 설정하였는데, 당시 미국의 경제 상황을 고려할 때 잡지를 정기 구독할 수 있거나 전화를 보유한 국민은 대개 소득이 높은 사람이었습니다. 소득이 높은 사람일수록 공화당을 선호하는 경향이 있었기에 루스벨트를 지지하는 대개의 유권자는 설문조사에 참여할 수 없었던 것입니다.
트루먼의 웃음
이와 비슷한 사건이 1948년 미국 대통령 선거에서 또다시 등장하게 됩니다. 당시 다수의 여론조사 기관은 공화당 후보인 듀이(Dewey)의 당선을 예측하였으나 실제 선거에서는 민주당 후보인 트루먼(Truman)이 당선되었습니다. 트루먼 당선자는 선거 직후, 듀이 후보의 승리를 톱기사로 보도한 《시카고 트리뷴(Chicago Tribune)》을 들고 사진을 찍어 잘못된 대표적인 표본조사의 사례로 아직까지 회자되고 있습니다.
그렇다고 해서 모든 통계조사를 전수조사로 대체할 수는 없는 법, 올바르게 표본을 선정한다면 표본이 적은 상황에서도 유의미한 결과를 도출할 수 있습니다. 일례로 앞서 언급했던 ‘리터러리 다이제스트 사건’이 있을 당시 갤럽이라는 여론조사 기관은 좀 더 세밀한 분석을 통하여 유권자 중 1500명의 표본을 추출하였으며, 이들을 면접조사한 결과 ‘랜던 44%, 루스벨트 56%’를 예측하여 최종 결과와 유사한 결과를 이끌어내기도 하였습니다.
이와 같이 표본조사는 표본의 수보다는 어떤 표본을 추출하는지가 더욱 중요하기 때문에 대부분의 여론조사 기관에서는 표본의 분포가 전체 집단의 분포와 비슷하도록 표본을 추출하는 방식을 연구하여 활용하고 있습니다. 예를 들어 무작위로 표본을 추출해 조사한 후, 전체 집단과 비교해 지역과 성(性), 연령 등의 비율을 맞춰 조정하며, 특히 선거 관련 조사에서는 출신지역, 성별, 학력, 투표율 등을 주요한 변수로 활용하여 결과를 예측하고 있습니다. 이렇듯 유의미한 표본조사의 결과를 얻기 위해서는 다양한 변수를 충분히 고려, 표본 산출방법이 정확하게 설계돼야 합니다.
출구조사의 함정
사전 여론조사 이외에도 대통령 선거, 국회의원 선거 등에서 ‘출구조사’를 통한 결과 예측을 실시하기도 합니다. 출구조사는 투표를 마치고 나오는 사람들을 대상으로 투표 내용을 조사하는 것으로, 다음과 같이 개표 전 이를 토대로 당선 예측 결과를 발표하곤 합니다.
“출구조사 결과, A 후보는 40%, B 후보는 37%의 지지율을 보이고 있습니다. 이번 출구조사는 선거 당일 오전 6시부터 오후 5시까지 전국 투표소에서 유권자 8만명을 대상으로 했으며, 응답률 69%, 신뢰 수준 95%, 오차범위 ±4.4%입니다.”
우리는 이 자료를 근거로 각 후보 중 누구의 당선이 유력한지 판단할 수 있을까요?
먼저 ‘응답률 69%’라는 말은 690명의 표본을 얻기 위해 실제는 1000명을 조사하였음을 의미하고, ‘신뢰 수준’은 동일한 조사를 반복하여 조사할 경우에 결과치가 동일하게 나올 가능성을 말하는 것으로, 통계치의 정확성을 표현하는 용어입니다. 또 표본조사 결과와 집단 전체의 실제 특성과는 차이가 날 수밖에 없는데 이러한 차이를 ‘오차(誤差)’라고 하며, 오차가 발생하는 값의 범위를 ‘오차범위’라고 합니다.
다시 앞의 자료로 돌아가서 A후보의 지지율이 40%이고, 오차범위가 ±4.4%이므로, A후보의 실제 지지율은 ‘35.6(=40-4.4)%’에서 ‘44.4(=40+4.4)%’ 사이가 됩니다. 여기서 B 후보의 지지율 37%가 A 후보 지지율의 오차범위 내에 있기 때문에 A 후보와 B 후보는 우열을 가리기 어렵습니다. 즉 일부 매체에서 오차범위를 무시한 채 위와 같은 결과를 토대로 “A 후보의 우세”라는 표현을 쓰기도 하는데, 이러한 표현은 잘못된 것임을 알아야 하겠습니다.
각종 통계조사의 목적은 특정 집단의 특성에 관한 정보를 얻기 위한 것이며, 우리는 요즘 이러한 통계조사 결과의 홍수 속에 살고 있습니다. 쉼 없이 쏟아지는 각종 시장조사, 여론 및 선거조사 결과를 보고 들으며, 이를 통해 가치 판단을 하는 일들이 잦아지고 있습니다. 따라서 이러한 조사 결과는 보다 객관적이어야 하며, 그러기 위해 조사를 하는 기관들은 반드시 조사 과정 중 있을 수 있는 왜곡의 요인들을 제거하기 위해 노력해야 합니다. 또한 일반인들도 쉴 사이 없이 제공되는 각종 조사 결과를 올바르게 이해하고, 조사 결과의 해석에 대한 안목을 넓혀 아무런 여과 없이 정보를 곧이곧대로 수용하는 일이 없도록 조심해야 할 것입니다.⊙
이번 국민투표는 2013년 선거를 치르던 데이비드 캐머런 현 영국 총리의 EU 탈퇴 여부를 묻는 국민투표를 하겠다는 공약에 의해 실시되었습니다. 영국의 EU 탈퇴는 세계 경제 시장에 상당히 큰 영향을 끼치기 때문에 국민투표를 실시하기 이전부터 유럽은 물론 미국, 일본 등 많은 국가는 영국의 EU 탈퇴 반대 여론을 형성하는가 하면, 각종 언론매체 및 기관에서 투표의 결과를 예측하는 ‘여론조사’를 실시하여 추이를 분석하기도 하였습니다.
실제로 6월 21일부터 22일 자정까지 실시한 어떤 여론조사에서는 영국의 EU 잔류를 지지하는 응답자가 전체 응답자의 55%, 탈퇴를 지지한다는 응답자가 45%였으며, 21일부터 22일 오후 9시까지 실시한 설문조사에서는 EU 잔류를 지지하는 응답자가 52%, 탈퇴를 지지한다는 응답자가 48%로, 한때 영국의 EU 잔류에 힘이 실리기도 하였습니다.
하지만 실제 투표 결과는 이러한 예상을 비웃기라도 하듯이 탈퇴 51.9%, 잔류 48.1%로 나타나 많은 이를 당황하게 만들었습니다.
이렇게 여론조사의 결과와 실제 결과가 차이가 발생하는 일은 비단 영국에서뿐만 아니라 우리나라, 심지어 통계학이 발달한 미국에서조차 발생하곤 하는데, 그 이유는 무엇일까요? 또 조사를 실시한 기관 혹은 날짜마다 이러한 수치가 조금씩 차이를 보이기도 하는 이유는 무엇일까요?
각종 여론조사에서 자료를 수집하는 과정과 자료를 해석하는 과정을 살펴보고, 이를 통해 우리가 어디까지 정보를 신뢰하고 활용해야 하는지에 대해 알아보도록 하겠습니다.
여론조사 실패로 문 닫은 잡지사
통계를 이용한 기술은 아주 오래전으로 거슬러 올라가 로마시대의 5년마다 전 인구를 직접 헤아리고 재산을 일제히 등록하는 ‘센서스(Census)’라는 제도에서도 확인할 수 있습니다. 이렇게 관심의 대상이 되는 집단 전체를 조사하여 특성을 파악하는 통계조사 방법을 ‘전수(全數)조사’라고 합니다.
이러한 방법은 집단의 규모가 매우 클 경우, 엄청난 비용과 시간이 소요되는 문제점을 갖고 있습니다. 그래서 대개의 통계조사는 ‘표본(標本)조사’를 통해 이루어지고 있습니다. 이는 관심의 대상이 되는 전체 집단 중 일부를 선택하고, 선택된 집단만을 대상으로 조사한 뒤, 그 조사 결과를 일반화하여 전체 집단의 특성을 추정하는 통계조사 방법으로, 20세기 중반 이후 미국을 중심으로 발전하였습니다.
표본조사는 자칫 잘못하면 ‘장님 코끼리 만지기’가 될 수 있어 각별한 주의가 필요합니다. 코끼리의 일부만을 만져보고 코끼리 전체의 모습을 비슷하게 그릴 수 없듯이, 대표성이 없는 표본을 선정하여 얻은 자료를 바탕으로 전체 집단의 특성을 추정하는 데는 분명 한계가 있기 때문입니다.
예를 들어 1936년, 《리터러리 다이제스트(Literary Digest)》라는 잡지사는 미국 대선 후보인 공화당의 랜던(Alfred M. Landon) 후보와 민주당의 루스벨트(Franklin D. Roosevelt) 후보의 선거 결과를 예측하기 위해 1000만명의 유권자에게 설문지를 우편으로 발송한 뒤, 230만명에게 회수한 응답을 분석하여 랜던 후보의 당선이 확실하다는 예측 결과를 발표하게 됩니다.
실제 선거에서 루스벨트가 압도적인 차이로 당선되었으며, 이 잡지사는 이후 폐간의 길로 접어들게 됩니다. 무려 230만명의 설문 결과를 토대로 분석된 예측 결과가 틀린 이유는 무엇일까요? 그 이유는 바로 표본의 설정이 잘못되었기 때문입니다. 이 잡지사는 잡지의 정기 구독자와 전화번호부를 근거로 표본을 설정하였는데, 당시 미국의 경제 상황을 고려할 때 잡지를 정기 구독할 수 있거나 전화를 보유한 국민은 대개 소득이 높은 사람이었습니다. 소득이 높은 사람일수록 공화당을 선호하는 경향이 있었기에 루스벨트를 지지하는 대개의 유권자는 설문조사에 참여할 수 없었던 것입니다.
트루먼의 웃음
이와 비슷한 사건이 1948년 미국 대통령 선거에서 또다시 등장하게 됩니다. 당시 다수의 여론조사 기관은 공화당 후보인 듀이(Dewey)의 당선을 예측하였으나 실제 선거에서는 민주당 후보인 트루먼(Truman)이 당선되었습니다. 트루먼 당선자는 선거 직후, 듀이 후보의 승리를 톱기사로 보도한 《시카고 트리뷴(Chicago Tribune)》을 들고 사진을 찍어 잘못된 대표적인 표본조사의 사례로 아직까지 회자되고 있습니다.
그렇다고 해서 모든 통계조사를 전수조사로 대체할 수는 없는 법, 올바르게 표본을 선정한다면 표본이 적은 상황에서도 유의미한 결과를 도출할 수 있습니다. 일례로 앞서 언급했던 ‘리터러리 다이제스트 사건’이 있을 당시 갤럽이라는 여론조사 기관은 좀 더 세밀한 분석을 통하여 유권자 중 1500명의 표본을 추출하였으며, 이들을 면접조사한 결과 ‘랜던 44%, 루스벨트 56%’를 예측하여 최종 결과와 유사한 결과를 이끌어내기도 하였습니다.
이와 같이 표본조사는 표본의 수보다는 어떤 표본을 추출하는지가 더욱 중요하기 때문에 대부분의 여론조사 기관에서는 표본의 분포가 전체 집단의 분포와 비슷하도록 표본을 추출하는 방식을 연구하여 활용하고 있습니다. 예를 들어 무작위로 표본을 추출해 조사한 후, 전체 집단과 비교해 지역과 성(性), 연령 등의 비율을 맞춰 조정하며, 특히 선거 관련 조사에서는 출신지역, 성별, 학력, 투표율 등을 주요한 변수로 활용하여 결과를 예측하고 있습니다. 이렇듯 유의미한 표본조사의 결과를 얻기 위해서는 다양한 변수를 충분히 고려, 표본 산출방법이 정확하게 설계돼야 합니다.
출구조사의 함정
사전 여론조사 이외에도 대통령 선거, 국회의원 선거 등에서 ‘출구조사’를 통한 결과 예측을 실시하기도 합니다. 출구조사는 투표를 마치고 나오는 사람들을 대상으로 투표 내용을 조사하는 것으로, 다음과 같이 개표 전 이를 토대로 당선 예측 결과를 발표하곤 합니다.
“출구조사 결과, A 후보는 40%, B 후보는 37%의 지지율을 보이고 있습니다. 이번 출구조사는 선거 당일 오전 6시부터 오후 5시까지 전국 투표소에서 유권자 8만명을 대상으로 했으며, 응답률 69%, 신뢰 수준 95%, 오차범위 ±4.4%입니다.”
우리는 이 자료를 근거로 각 후보 중 누구의 당선이 유력한지 판단할 수 있을까요?
먼저 ‘응답률 69%’라는 말은 690명의 표본을 얻기 위해 실제는 1000명을 조사하였음을 의미하고, ‘신뢰 수준’은 동일한 조사를 반복하여 조사할 경우에 결과치가 동일하게 나올 가능성을 말하는 것으로, 통계치의 정확성을 표현하는 용어입니다. 또 표본조사 결과와 집단 전체의 실제 특성과는 차이가 날 수밖에 없는데 이러한 차이를 ‘오차(誤差)’라고 하며, 오차가 발생하는 값의 범위를 ‘오차범위’라고 합니다.
다시 앞의 자료로 돌아가서 A후보의 지지율이 40%이고, 오차범위가 ±4.4%이므로, A후보의 실제 지지율은 ‘35.6(=40-4.4)%’에서 ‘44.4(=40+4.4)%’ 사이가 됩니다. 여기서 B 후보의 지지율 37%가 A 후보 지지율의 오차범위 내에 있기 때문에 A 후보와 B 후보는 우열을 가리기 어렵습니다. 즉 일부 매체에서 오차범위를 무시한 채 위와 같은 결과를 토대로 “A 후보의 우세”라는 표현을 쓰기도 하는데, 이러한 표현은 잘못된 것임을 알아야 하겠습니다.
각종 통계조사의 목적은 특정 집단의 특성에 관한 정보를 얻기 위한 것이며, 우리는 요즘 이러한 통계조사 결과의 홍수 속에 살고 있습니다. 쉼 없이 쏟아지는 각종 시장조사, 여론 및 선거조사 결과를 보고 들으며, 이를 통해 가치 판단을 하는 일들이 잦아지고 있습니다. 따라서 이러한 조사 결과는 보다 객관적이어야 하며, 그러기 위해 조사를 하는 기관들은 반드시 조사 과정 중 있을 수 있는 왜곡의 요인들을 제거하기 위해 노력해야 합니다. 또한 일반인들도 쉴 사이 없이 제공되는 각종 조사 결과를 올바르게 이해하고, 조사 결과의 해석에 대한 안목을 넓혀 아무런 여과 없이 정보를 곧이곧대로 수용하는 일이 없도록 조심해야 할 것입니다.⊙
