[헤럴드경제=기획취재팀] 2019년 10월은 국내 여론조사 역사에서 한 차례 중요한 변곡점으로 평가할 수 있다. 처음으로 여론조사들의 ‘접촉률’이 공개된 시기이기 때문이다. ‘접촉률’이 공개되면서 ‘여론조사방법’ 연구에서 가장 선진적인 국가로 평가받는 미국의 ‘응답률’과 국내의 ‘응답률’을 객관적으로 비교할 수 있게 됐다. 올해 21대 국회의원선거 당시 진행된 국내 여론조사에서 나타난 응답률은 과연 미국과 비교할 때 높은 수준일까, 아니면 낮은 수준일까.

해석 : 예를 들어 기존 ‘한국식 기준’으로 ‘10% 이상인 응답률’인 여론조사들은 21대 총선 관련 전체 여론조사에서 38.32%를 차지했다. 그러나 ‘국제 기준’으로 응답률을 처리했던 10% 이상인 여론조사는 21대 총선 관련 전체 여론 조사의 1.52%에 불과하다. [그래픽 디자인 권해원]

현재까지 국내 언론을 통해 공표된 ‘응답률’은 미국 여론조사에서 표준적으로 채택한 응답률이 아니다. ‘전화 연결이 된 사람들’만을 대상으로 하며, 그중에서 ‘끝까지 설문에 응답한 사람들’의 비율을 계산한 결과이기 때문이다. ‘전화 연결이 된 사람 중에 대답한 사람이 몇 명인지’를 보는 것을 미국여론조사협회(중앙선거여론조사심의위원회는 이를 ‘국제 기준’으로 부른다. 이하 내용에서는 이를 ‘국제 기준’으로 표기한다)는 ‘응답률’이 아니라 ‘협조율’로 부른다.

그럼 미국여론조사협회에서는 무엇을 ‘응답률’로 부를까. ‘전화 연결이 된 사람들’뿐만 아니라 ‘전화 연결이 되지 않은 사람들’까지 고려해야 ‘응답률’로 부를 수 있다는 게 이 협회의 입장이다. 즉 전화 연결이 되든, 되지 않든 여론조사기관이 전화를 시도했던 모든 사람 중 끝까지 응답한 사람의 비율을 계산해야 ‘응답률’로 불릴 수 있다는 것이다.

이러한 논리를 바탕으로 할 때 ‘국제 기준 응답률’은 현재 중앙선거여론조사심의위원회(이하 여심위)에 공표된 ‘접촉률’과 ‘응답률(국제 기준 협조율)’을 곱하면 계산할 수 있다. ‘접촉률’은 지난해 10월부터 처음으로 대중에게 공표되면서 계산이 가능해졌다.

헤럴드경제는 여심위에 등록된 1117개의 여론조사(21대 총선 관련, 올해 4월 12일까지 등록된 여론조사 기준)의 접촉률과 응답률을 통해 ‘국제 기준 응답률’을 산출했다. 지난해 10월 이전에 공표돼 접촉률이 기재되지 않은 124개 여론조사는 헤럴드경제가 직접 계산했다.

이에 따라 산출된 21대 국회의원 선거 1117개 여론조사들의 ‘국제 기준 응답률’은 평균 3.9% 수준이다. 유선조사 평균은 2.2%, 무선조사 평균은 4.8%를 기록했다. 국내에서 말하는 ‘응답률(미국여론조사협회 ‘협조율’로 부르는 수치)’로 보면 평균이 10%였다. ‘국제 기준 응답률’로 평가하자 응답률이 기존에 알려진 것보다 3분의 1 수준으로 줄어든 것이다.

21대 국회의원선거 여론조사에서 나온 ‘국제기준 응답률’ 3.9%를 어떻게 평가해야 할까. 응답률이 얼마가 돼야 여론조사를 신뢰할 수 있을지는 전문가마다 이견이 있다. 다만 3.9%는 미국의 응답률에 비해 확실히 낮은 수준이다. 미국 대표적인 여론조사기관인 퓨리서치센터는 자국의 전화 응답률이 2018년에 6%를 기록했다고 밝혔다. 국내 여론조사는 미국 응답률(국제 기준 응답률) 수준 절반에도 못 미치는 경우가 부지기수다. 이번 21대 선거 관련 여론조사만 봐도 1~3%대 국제 기준 응답률을 기록한 경우가 전체의 60%를 차지한다.

미국에선 응답률이 낮아지는 것을 무조건 문제라고 보진 않는다. 미국 사례에 국한해서 보면 낮은 응답률이 꼭 조사 정확성을 낮추진 않는다고 평가하고 있기 때문이다. 퓨리서치센터는 ‘2020년 선거 여론조사 가이드’를 통해 “응답률이 높을수록 조사정확성이 높아지는 것은 아니었다”며 “미국에서 1997년·2003년·2012년·2016년에 실시된 퓨리서치센터 연구를 보면 응답률과 조사 정확도 사이에 (특정한) 관계를 거의 발견할 수 없었다”고 설명했다.

다만 ‘너무 낮은 수준의 응답률’이 야기할 수 있는 문제를 간과하긴 어렵다는 입장이다. 퓨리서치센터는 “응답률이 4%, 2%, 1%까지 떨어질 경우 (응답률과 조사 정확도에 상관관계가 없다고) 할 수 있을지, 판단하는 게 (현재로썬) 불가능하다”고 했다. 한국의 21대 선거 관련 여론조사 응답률 평균 3.9% 수준에선 퓨리서치센터에서도 어떤 의견을 내놓기 어렵단 설명이다.

[그래픽 디자인 권해원]

‘국제 기준 응답률 1% 미만’인 여론조사들의 실제 적중률은 어땠을까. 1117개의 여론조사 중 1%에도 못 미친 ‘국제 기준 응답률’을 보인 조사는 총 44개다. 헤럴드경제는 이 44개 조사 중 4월에 진행된 여론조사(5개)만 추려 다시 4·15 총선 결과와 얼마나 맞아떨어졌는지 확인해봤다. “코로나 사태로 인해 4월 1~15일에 두드러진 정치적 변수를 확인할 수 없었다”는 전문가들의 의견을 고려해 비교했다.

그 결과, 4월에 진행된 조사(5개) 모두 실제 결과치와 상이하다는 점을 확인했다.

인천 연수구을(YTN 의뢰, 리얼미터 4월 7~8일 조사, 국제 기준 응답률 0.8%) 조사에선 민경욱 전 미래통합당 의원(39.2%)이 정일영 더불어민주당 당선인(36%)을 오차범위(±4.4%포인트) 안에서 다소 앞서는 것으로 나타났다. 그러나 총선 결과, 정 당선인이 41.78%, 민 전 의원이 39.49%의 득표율을 기록했다. 정 당선인의 경우 여론조사 당시 측정된 95% 신뢰수준을 넘어서는 득표율을 기록한 것이다.

전라북도 전주시병(뉴시스 전북취재본부 의뢰, 코리아정보리서치 4월 7~8일 조사, 국제 기준 응답률 0.8%) 여론조사의 경우, 김성주 더불어민주당 당선인 득표율(47.2%)이 오차범위(±3.7%포인트) 수준에서 우세할 것으로 조사됐다. 그러나 실제로는 김 당선인이 득표율 66.65%를 기록했다. 경기도 광명시갑(중부일보 의뢰, 아이소프트뱅크 4월 6일 조사, 국제 기준 응답률 0.6%)에서도 임오경 더불어민주당 당선인은 오차범위(±4.4%포인트)에서 우세가 기대됐다. 그러나 실제로 47.66%의 높은 득표율을 기록했다.

4월 초에 리버티코리아포스트와 펜앤드마이크가 각각 ‘여론조사공정’에 의뢰한 비례정당 선호조사 결과도 실제 치와 달랐다. 두 조사 모두 ±3.1%포인트 오차범위에서 더불어시민당의 지지율이 20% 초반이 될 것으로 예상했다. 그러나 실제로 더불어시민당은 약 33%의 득표율을 기록했다.

응답률은 높으면 높을수록 좋은 것일까. 헤럴드경제가 자문한 해외 석학들은 “낮은 응답률보다는 높은 응답률이 더 낫다는 데” 동의했다. 다만 조사 신뢰성을 높이기 위해서는 ‘응답률’보다 ‘조사된 수치에 어떻게 가중치를 부여하느냐’에 더 신경 써야 한다고 입을 모았다.

2008년 미국여론조사협회로부터 ‘평생 공로상’을 받은 캐슬린 프랑코비치(Kathleen A Frankovic)는 헤럴드경제와의 e-메일 인터뷰를 통해 “응답률이 높으면 조사의 질에 도움이 될 수 있다”면서 “그러나 그것만이 여론조사의 질을 결정짓는 유일한 요소는 아니다”고 지적했다. “미국의 경우 매우 낮은 응답률을 보인 조사이어도 좋은 조사로 평가되는 경우가 있다”고 했다. 그는 “조사의 질은 ‘표본 추출방법, 질문방법, 미국의 실제 인구분포를 반영하기 위한 가중치 부여’ 등과 더 많이 관련돼 있다”고 설명했다.

2016년 미국여론조사협회로부터 ‘평생 공로상’을 받은 스콧 키터(Scott Keeter) 퓨리서치센터 선임조사고문 역시 e-메일 인터뷰를 통해 “이론적으로는 응답률이 높을수록 편향 가능성이 낮아져야 하지만 실제로는 응답률이 매우 높아도 편향성이 존재하는 경우가 있다”며 “편향성은 ‘특정 집단에 속한 사람들이 다른 사람들보다 조사에 응답할 가능성이 큰지’와 ‘조사기관이 그러한 종류의 사람들을 가중치를 통해 교정할 수 있는지’에 달렸다”고 설명했다. 또 “교육을 더 많이 받거나 정치에 더 관심 있는 집단에 속한 이들은 다른 사람보다 여론조사에 더 잘 답변하는 특징이 있다”며 “이런 요소를 고려해 적절한 가중치를 줘서 여론조사 수치를 조정해야 한다”고 설명했다. 또 "매우 놀랍게도 이러한 가중치 조정이 매우 낮은 응답률을 보인 여론조사에서도 효과를 발휘한다”고 덧붙였다.

raw@heraldcorp.com

※‘여론조사를 조사하다’는 하단 링크를 누르시면 디지털기사 형식으로 보실 수 있습니다.