3번 중 1번은 예측 실패.. 여론조사를 믿지 마세요

Posted on by ohcy0310

현재 여론조사에서 문재인 후보의 지지율이 높고 나머지 후보들의 지지율이 낮으니 나오는 뉴스.

미디어 오늘…

그냥 웃지요.

출처 ) http://www.mediatoday.co.kr/?mod=news&act=articleView&idxno=136439&sc_code=&page=&total=

뉴스타파, 1557건 국내여론조사 전수분석결과 단순오차 평균 9.55% 당선예측 실패 36%

[미디어오늘 정철운 기자]우리는 세 번 예측하면 한 번은 당선조차 맞추지 못할 정도로 부실한 여론조사공화국에 살고 있었다.

탐사저널리즘센터 뉴스타파가 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지를 전수 분석했다. 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집한 선거일로부터 4주 이내 국내 여론조사 1557건을 분석한 결과 단순오차는 평균 9.55%였다. 1위와 2위 후보의 득표율 차이를 평균 10% 가까이 잘못 예측했다는 의미다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%, 2016년 총선은 10.6%였다.

1557건의 여론조사 중 당선자 예측에 성공한 조사는 996건, 실패한 조사는 561건이었다. 확률 상으로 무려 36%나 당선예측에 실패했던 것. 호남이나 영남 등 대세가 눈에 띄는 지역구를 제외한 오차범위 내 접전지역에서는 대부분 당선을 맞추지 못했다고 볼 수 있는 수치다. 우리는 이미 지난해 총선에서 여론조사기관과 언론이 합작한 오보 릴레이를 이미 두 눈으로 확인한 바 있다.

▲ 지난해 총선 직전 정세균 민주당 후보가 올린 트윗.

▲ 지난해 총선 직전 정세균 민주당 후보가 올린 트윗.

▲ 지난해 총선 결과를 보도하는 KBS화면 갈무리.

▲ 지난해 총선 결과를 보도하는 KBS화면 갈무리.
“KBS 여론조사에서 오세훈 후보 45.8%, 제가 28.5%로 보도가 되었습니다. 17.3% 격차입니다. 이 숫자를 꼭 기억해 주십시오. 이것이 왜곡인지 아닌지 제가 증명보이겠습니다.” 지난해 4.13 총선 당시 정세균 더불어민주당 의원 트윗이다. 선거 결과 정세균 후보는 52.6%를 득표해 39.7%를 득표한 오세훈 후보를 여유 있게 제치고 당선됐다. KBS 여론조사와 개표결과의 격차는 무려 30.2%였다. 정세균 후보의 선전만으로는 해석하기 어려운 수준의 오차였다. 틀려도 너무 틀렸다.

KBS만의 문제는 아니었다. 당시 언론은 서울 노원병, 서울 영등포을, 전남 순천 등 격전지에서 대부분 예측에 실패했다. 4.13 총선이 30일 남았을 당시 여론조사 전문가 대다수는 “새누리당이 19대 총선 결과(152석)보다 많은 의석을 차지하겠지만 180석 확보는 무리”라고 말했다. 총선 3일 전인 4월10일, 여론조사 전문기관들은 새누리당 157석~175석, 더민주 83석~100석, 국민의당 25석~32석 등 예측 결과를 내놨다. 하지만 선거 결과 새누리당은 122석을 얻었고, 더민주는 123석으로 원내 1당이 됐다. 새누리당은 3자구도로 얻은 어부지리 의석이 33석으로 나타났다. 여소야대, 그야말로 여당의 참패였다.

▲ 뉴스타파 보도화면 갈무리.

▲ 뉴스타파 보도화면 갈무리.
문제는 대선을 보름 앞둔 현재 쏟아지는 여론조사도 지난 총선과 집계방식에서 다를 게 없다는 사실이다. 문재인-안철수 양자대결을 상정해 처음으로 안철수가 앞선다는 결과를 내놨던 4월3일자 내일신문-디오피니언 여론조사의 경우 유선전화 RDD 임의추출방식 대신 2012년 KT 전화번호부 DB를 바탕으로 표본을 추출한 것으로 드러났다. 뉴스타파는 “전화번호부 DB는 전체 유선전화 가입자의 절반도 담지 못하고 있으며 젊은 층은 이곳에 자신의 이름을 올리길 꺼려 한다”며 표본의 심한 보수편향을 지적하기도 했다. 최근에는 KBS와 연합뉴스가 코리아리서치에 의뢰했던 대선후보 5자대결 여론조사에 신뢰도가 떨어져 중앙선거관리위원회가 해당 업체에 과태료 1500만원을 부과하기도 했다.

뉴스타파는 또한 여론조사기관의 예측정확성 순위를 평가했는데 메이저 여론조사기관이 중위권에 머물러 회사규모나 역사에 따라 더 정확한 것은 아니라고 밝혔다. 리얼미터의 예측정확성 순위는 23위였고 오랜 전통을 가진 한국갤럽은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위였고 매출액 2위 한국리서치는 12위였다.

뉴스타파는 “대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다”고 설명했다. 이어 “무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었는데 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다”고 덧붙였다. 현재 국내 여론조사업체는 약 140여 곳. 이 중 언론사를 겸하고 있는 업체도 11곳이다. 응답자 1000명당 200만 원 대까지 내려가는 싸구려 조사도 있다. 여론조사 업계는 여전히 ‘엉망진창’으로, 총선과 달라진 게 없다.

▲ 여론조사는 여론을 얼마나 반영하고 있을까. 무엇보다 여론조사에 대한 맹신에서 벗어나야 한다. ⓒ게티이미지

▲ 여론조사는 여론을 얼마나 반영하고 있을까. 무엇보다 여론조사에 대한 맹신에서 벗어나야 한다. ⓒ게티이미지
지금으로선 여론조사를 맹신하는 사회적분위기를 바꾸기 위해 여론조사의 맹점과 과학적 한계를 반복적으로 지적하는 노력이 현실적으로 필요해 보인다. 여론조사는 질문에 따라 결과가 달라지고 최근 대세인 RDD방식으로 하더라도 유무선 비율에 따라 결과가 달라진다는 사실에 유념하고 이부분을 뉴스수용자에게 정확히 전달해야 한다.

예컨대 “양자구도로 치러질 경우 어느 후보에게 투표하겠냐”란 단순 가정의 경우 안철수가 오차범위 내에서 앞서지만 후보 간 단일화를 가정해 설명한 뒤 양자구도 투표를 물었을 때는 문재인이 오차범위에서 앞서는 것으로 나온 사례가 있다. 유무선 비율도 5대5가 적절한지 7대3이 적절한지 전문가마다 의견이 다르다. 무엇보다 여론조사는 정교한 수학계산의 산물이 아니다. 전국여론조사를 두고 지역별 여론조사를 쪼개 보도할 경우 해당 지역의 100명 정도 여론만 반영될 수 있어 특히 결과가 왜곡될 가능성이 높다는 사실을 인식해야 한다.

▲ 유선전화를 통한 여론조사는 고령층 편향을 불러일으키지만 여전히 여론조사도구로 쓰인다. ⓒ게티이미지

▲ 유선전화를 통한 여론조사는 고령층 편향을 불러일으키지만 여전히 여론조사도구로 쓰인다. ⓒ게티이미지
떳다방식 여론조사관행을 바꾸기 위해 여론조사업체가 예측결과에 좀 더 책임질 수 있도록 선거직전 공표금지기간을 없애자는 말도 나온다. 지금은 예측이 실패해도 공표금지기간 동안 여론이 달라졌다는 식으로 면피하고 있다는 비판이 나오기 때문이다. 여론조사공화국을 바꿔내려면 언론보도 또한 달라져야 한다. 언론은 표본과 집계방식의 한계로 예측실패가 자명한 여론조사를 무비판적으로 확대재생산하며 미필적 고의에 의한 오보를 내고 있는 실정이다.

대선미디어감시연대와 민주언론시민연합이 조선일보·중앙일보·동아일보·한겨레·경향신문·한국일보 등 6개 종합일간지의 4월1일~4월17일 간 여론조사 보도건수를 분석한 결과 전체 129건 중 지지율 추이·순위 보도가 68건, 정책관련 여론조사보도는 13건에 그쳤다. 언론은 대선후보간의 정책적 아젠다를 비교분석하고 유권자에게 필요한 정보를 제공하는 대신 경마식으로 후보 간 지지율을 보도한 뒤 이에 기반 해 새롭게 형성된 여론을 바탕으로 또 다시 여론조사를 벌이는 식으로 저널리즘의 후퇴를 주도하고 있다. 지금으로선 언론이 여론조사업체를 탓할 자격이 없다.