[사진=뉴스토마토]

여론조사는 어떤 사회 집단의 여론을 알아보는 조사를 말한다. 전체 구성원 모두에게 여론을 알아볼 수는 없으므로 표본을 뽑아 조사하게 된다. 표본 내에서도 나이, 성별, 지역, 종교, 직업, 학력, 소득 등의 요소에 따라 성향이 달라질 수 있기 때문에 조사 목적에 맞게 표본의 구성을 조정하는 절차를 거친다.

이러한 여론조사는 사람이 직접 대상을 만나서 인터뷰를 진행해 결론을 도출하는 대면 조사 방식과 통신망을 활용한 비대면 조사 방식으로 나뉜다. 대면 조사 방식은 일정한 표본을 모집하여 조사를 하거나, 혹은 직접 가가호호 방문을 하거나, 거리나 특정 구역 내에서 무작위로 인터뷰를 진행해 자료를 수집하는 등의 방식으로 이뤄진다. 선거 당일에 투표소를 나서는 유권자들을 무작위로 선택하여 조사하는 방식인 선거 출구조사 또한 일종의 대면 조사에 속한다. 상대적으로 시간과 비용이 많이 들며, 조사원들에게 조사 방법론에 관한 일정 수준 이상의 훈련이 필요하다.

그렇다면 이러한 근대적 의미의 여론조사는 언제부터 시작됐을까. 1824년 미국 대통령선거 때 펜실베이니아주 해리스버그 주민들이 대선 후보를 두고 모의투표를 한 것이 최초의 여론조사로 알려져 있다. 당시 여론조사에선 앤드루 잭슨이 앞섰으나 실제 선거에서는 퀸시 애덤스가 대통령으로 당선됐다. 최초의 여론조사가 예상을 빗나간 것이다. 이후에는 여론조사 기법이 발달하고 정확도가 높아지면서 현재는 다양한 분야에서 널리 활용되고 있다.

실제 우리는 여론조사 공화국이라 불릴 정도로 하루가 멀다 하고 언론을 통해 수많은 여론조사 결과를 접하고 있다. 하지만 우리는 여론조사 결과의 수치에만 주목하지 이 조사가 어떻게 이루어졌는지, 틀릴 가능성은 없는 지에 대해서는 크게 신경을 쓰지 않아 보인다.

신뢰수준과 표본오차의 이해

여론조사 결과를 발표할 때 항상 뒤따르는 것이 신뢰수준과 표본오차이다. ‘표본오차는 95% 신뢰수준에서 ±a%’와 같은 식이다. 먼저 신뢰수준이 95%이라는 건 이 여론조사를 95% 믿을 수 있다는 뜻이 아니라 같은 조사를 100번 하면 표본오차 범위 내에서 동일한 결과가 나올 횟수가 95번이라는 의미다. 표본오차는 표본의 크기가 커질수록 줄어들고, 작아지면 늘어난다.

설명의 이해를 돕기 위해 실제로 최근 실시된 영암군수 후보 적합도 여론조사를 예로 들어보자. 한국사회여론연구소(KSOI)는 최근 뉴스토마토의 의뢰를 받아 지난 2~3일 전라남도 영암군에 거주하는 만 18세 이상 성인남녀 501명을 대상으로 차기 영암군수 후보 적합도 여론조사를 실시했다. 조사 결과, 민주당 후보인 배용태 전 부지사가 25.3%, 같은 당 소속 전동평 군수가 24.8%, 우승희 전 전남도의원이 18.0%로 나타났다. 표본오차는 95% 신뢰수준에 ±4.4%.

조사 결과 나타난 수치를 가지고 상술하자면, 같은 조사를 각각 다른 표본을 뽑아 100번 시행했을 때 95번은 배용태 후보의 지지율이 20.9~29.7%, 전동평 후보 20.4~29.2%, 우승희 후보 13.6~22.4% 범위 내에서 나온다는 뜻이다. 이는 세 후보의 지지율이 중복되는 구간이 있어 실제 선거에서는 역전이 될 수도 있으니 특정 후보의 우세를 단정하기 힘들며, 4.4%의 2배인 8.8%의 격차가 아닌 이상 세 후보간의 지지율은 얼마든지 뒤집힐 가능성이 존재한다는 의미로 이해하면 된다.

응답률이 낮으면 믿을 수 없다?

앞서 언급한 영암군수 후보 적합도 조사를 다시 예로 들자면, 해당 조사는 영암군 거주 만 18세 이상 성인남녀 501명을 대상으로 무선 통신사 제공 휴대전화 가상번호를 활용해 무선 ARS 자동응답 조사(무선 100%)로 진행됐으며 응답률은 9.7%다.

우선 9.7%의 응답률은 501명의 9.7% 정도인 49명 남짓만 응답한 것을 표본으로 삼았다는 말이 아니다. 여론조사의 표본이 501명일 때 응답률이 9.7%라는 말은 표본 501명이 채워질 때까지 전화를 걸었더니 대략 5165콜까지 걸게 됐고, 5165콜 중에 501명의 응답을 받은 것의 비율을 따져보니 최종적으로 9.7%가 나왔다는 말이다.

이와 관련해 응답률이 낮은 여론조사는 믿을 수가 없다는 말은 틀린 말이다. 바로 말하자면 응답률과 여론조사의 신뢰도 사이에는 아무런 관계가 없다. 여론조사의 신뢰도와 정확도는 표본의 무작위성, 질문의 편향성 여부, 질의응답 항목과 보기의 적절성, 조사 방법 설계의 합리성 정도 등에 따라 달라지는 것이지, 응답률 자체가 하나의 결정적인 척도가 아니다. 심지어 몇몇 여론조사 전문가들은 응답률이 너무 과도하게 높은 조사는 되려 의심해야 한다는 이야기를 하기도 한다. 표본 자체가 오염된 바람에 여론조사에 응하는 응답자가 짧은 기간 내의 몇 번의 여론조사에 걸쳐 반복 수신을 했을 가능성이 있기 때문이다.

표본 수가 적으면 정확도가 떨어지나

결론부터 얘기하자면 맞는 말일 수도 있고 틀린 말일 수도 있다. 우선 틀렸다는 점은 통계와 확률에 대한 이해 부족에서 비롯된다. 1000명 이상의 여론조사는 보통의 여론조사에서 매우 많은 조사인원이다. 그 이유는 보통 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 정도면 모집단의 수와 무관하게 충분히 의미 있는 결과를 내고도 남기 때문이다. 여론조사 전문가들은 “국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다. 다만 국이 잘 섞여있어야 한다”는 비유를 들어 설명한다. 다시 말해 여론조사의 표본 구성이 충분히 무작위로 잘 되었고, 조사 과정이 정상적으로 이뤄졌다는 전제에서 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다. 일례로 인구가 3억 명이 넘는 미국에서도 정치 여론조사를 할 때 1000명 내지는 1500명 조사를 대부분 시행한다. 심지어 800명 표본의 전국 단위 조사를 수행하는 경우도 상당히 많다.

따라서 지역 단위의 조사라면 더 적은 인원으로도 충분하다. 국회의원 지역구 또는 영암군과 같은 지방자치단체에 한정된 조사에서는 500명이나 800명 정도 표본의 조사도 얼마든지 통계적으로 충분한 의미를 갖는다. 상식적으로 대한민국 대선의 경우 4천만명이 넘는 유권자 중에 1000명 조사하는데, 천분의 일 수준인 영암군수 선거유권자 4만명 중 500명이라고 하면 쉽게 납득할 수 있을 것이다.

이와 반대로 맞는 말일 수 있다는 점은 틀린 말의 전제로 삼은 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제가 충족되지 않았기에, 결국 신뢰할 수 없는 결과가 나온다는 뜻이다. 국의 간을 본다는 비유와 달리, 사람은 전국단위까지 가면 성별, 연령대, 지역, 직업, 경제력 등의 다변수로 구성돼있기 때문에 국처럼 잘 섞어준다는 게 매우 어렵다. 그렇기 때문에 1000명 표본을 가지고 아무리 여론조사를 잘해도 표본 수가 압도적으로 높은 출구조사에 비해서는 정확도가 떨어질 수밖에 없다.

여론조사를 실시하는 곳은 생각보다 많다. 특히 요즘과 같은 선거철이 되면 네임드 여론조사 기관 외에도 온갖 잡다한 언론, 조사 기관들이 여론조사를 실시하고 이를 공표한다. 그리고 이 경우 조사기법의 차이나 여론조사 기관 자체의 한계, 부동층 등의 영향으로 선거 막판이 아닌 이상 각 기관들의 결과치가 들쭉날쭉할 수밖에 없다. 그러므로 여러 기관들의 조사 결과 하나하나에 의미를 과도하게 부여하는 것은 적절치 못하다고 본다. 각 기관들의 결과 변화 추이를 위주로 추세를 살피는 것이 여론조사를 잘 읽는 방법 중 하나라고 볼 수 있겠다.