알림

여론조사 해석·분석: '여조라이팅'에 당하지 않는 법

Benjamin 118.♡.241.14

2024.04.09 00:30

5,610

139

글쓰기

이틀간의 사전투표 기간이 끝났습니다. 31.3%의 사전투표율은 역대 총선 중 최고치였습니다. 이제 4월 10일 당일에 있을 본 투표만이 남았는데요. 선거 당일에는 사전투표와 다르게 자신이 주민등록상 소재하고 있는 지자체의 투표소에서만 신분증을 지참하고 투표할 수 있습니다. 아직 투표를 못 하셨다면 핑계 대지 못할 하루가 더 남아있는 거죠. '일이 있어 못 간다'라고 하기에 민주주의 국가에서 투표보다 더 큰일은 없으니까요. 이 글을 읽는 여러분들의 표심도 부디 누락되지 않기를 바랍니다.

1993928974_Wt5usYPV_eb181bb3888ab7ebf010a761bca35ab172c2e422.jpg

조르주 쇠라의 점묘화 〈그랑드 자트 섬의 일요일 오후〉 일부분의 신사. 알알이 보이는 점이 이 그림의 기법을 알게 한다.

물론, 오천만 개의 점이 찍힌 거대한 점묘화의 점 하나로 살면서 이 거시적인 스케일에 단 한 번의 무력감도 느끼지 않기란 어려운 일입니다. 하지만 결국 그 무력감에 맞서 자신의 빛깔을 확실히 발색하는 점 하나하나들만이 각자의 독립을 이룹니다. 그리고 각자의 독립은 곧 전체의 독립이 됩니다. 일견 이기적으로 보였던 깨어있는 개인의 판단들은, 일단 모이는 순간 그들끼리 서로의 오차를 보정하며, 끝내는 전체로서 내렸던 잘못된 결정을 되돌리는 가장 이타적인 행위가 됩니다. 이 승화야말로 민주주의 국가에서 가장 일상적으로 발견할 수 있는 잊기 쉬운 미학입니다.

다만 우리 중에는 우리의 무력감을 파고들어 타인을 무력화시키려는 이들도 있습니다. 그들 중 이 점묘화의 큰 그림을 넓게 조망할 수 있는 사람이 일정한 권력을 갖게 됩니다. 개인화된 통신 수단이 발달하지 못했던 1990년대부터 이어져온 그들의 수법은 견고한 승리 공식이었습니다. 여당과 행정부가 모든 개인정보 표본을 틀어쥐고 온 가정의 집전화에 연출된 질문을 던지던 시절이 상상되시나요? 그들에게 당하는 순간 우리는 비로소 실로 무력해지게 됩니다. 다만 2002년의 노무현이 당정분리를 부르짖고, 2007년의 스티브 잡스가 기술과 인문학을 동시에 터치한 이래 그들의 영향력은 꾸준히 우하향하고 있습니다. 이제 '불행 중 다행'은 '다행 중 불행'이 되어 정보의 독점을 즐기던 기득권에도 금이 간 모양새입니다. 손바닥 안의 줄글을 읽는 지금, 어렴풋한 희망 속에서 우리의 독립은 여전히 진행 중입니다.

1993928974_TGMAz0NS_82df257903d4d9f4508729cf226a84e76b7b7e4c.jpg

22대 총선에 대한 기성 전문가들의 예측. 여당의 선전부터 신승까지 다양하다. 경향신문.

TV나 신문 같은 레거시 미디어에서 전문가 명찰을 달고 나온 이들은 여당 국민의힘의 '난전 속 우세'를 말합니다. 여의도연구원(여당 산하 정책연구소) 부원장을 지냈던 김장수 장산정책연구소장이나, 언론으로부터 으레 '족집게'라는 별칭을 하사받는 엄경영 시대정신연구소장이 그렇습니다. 김 소장은 그의 고향에서 여당의 145석을 예측했고, 엄 소장은 한술 더 떠 여당의 170석 대승을 예측하다 최근 자신의 예측을 151석 신승으로 조정했습니다. 엄 소장은 한 보수 성향 유튜브 채널에 출연해 "아들에게 '170석 고칠까?' 물었다가 '안 돼. 그건 비겁한 거야.'라는 타박을 들었다"라는 후일담을 전하기도 했죠. 이 정도면 숫자를 다루는 학자로서의 솔직한 태도로서 충분할까요?

또 어떤 진보 성향 유튜브 채널에서는 정권 심판론을 바탕으로 제1야당 민주당의 대승을 얘기합니다. 자신들의 여론조사에 응답한 이들이 그대로 투표장에 나와주기만 한다면 범야권 200석도 불가능하지 않다고 말이죠. 와중에 민주당의 싱크탱크인 민주연구원은 31.3%의 사전투표율을 소수점 한자리까지 정확히 예측해 화제가 됐고, 지금도 어느 어르신들의 단톡방에는 예측의 정확도를 보니 저 숫자는 '정해진' 숫자라며 다가올 현실을 부정하기 위한 복선들이 꽃 피고 있습니다. "투표율이 낮아야 우리에게 유리하다"라는 말을 서슴없이 내뱉던 어느 공당도 "높은 사전투표율은 국민들의 화답"이라며 말을 바꿨습니다.

1993928974_1NzdBVkY_c00cd0b7c50c924a6049f759065c4d096869b7cb.jpg

2030 엑스포 부산 유치에 대한 조선일보와 매일경제의 보도. 결과적으로 독자들을 속인 꼴이 됐다.

누구 말을 믿어야 할까요? 또 어떤 말을 믿어야 할까요? 가짜들이 넘실대는 정보의 바다에서 그 어떤 인증 마크도 더는 믿기 어려워 보입니다. 작년 11월, 부산의 2030 엑스포 유치전을 기억하시나요? 국영방송과 민족정론을 자처하던 매체들은 이 투표를 '초박빙'이라고 보도했습니다. 부산에 연고조차 없던 사람들도 '부산이 잘 되면 좋지' 하는 기대감을 품었습니다. 투표함이 열리고 사우디 리야드의 90표차 대승(119:29) 소식이 전해지기 전까지 말입니다. 이와 같은 허탈함을 또 당하지 않으려면 어떻게 해야 할까요? 이 혼돈을 만드는 '여론의 연출가'들은 아직 남아있는 듯합니다.

선거 직전, 쏟아졌던 여론조사들은 도처에 널브러져 있습니다. 이 글은 그 여론조사들을 해석하는 방법에 대해, 또 우리 각자의 독립을 위해 쓰는 글입니다.

믿을 수 없는 여론조사란

여론조사는 여론을 조사하는 통계학적 도구입니다. 통계학적으로 잘 설계된 여론조사는 선거철을 지나는 우리에게 정확한 민심을 알려줍니다. 반면 통계학적 정합성보다 누군가의 의도가 앞서는 어떤 여론조사는 권력의 칼이 되어 민심을 말하는 우리의 입을 협박합니다. 우리는 이 둘을 신중하게 구분해야 합니다.

여론조사의 방법론은 표본집단으로 모집단을 예측하는 것입니다. 이번 22대 총선의 유권자들인 4428만 명이 모집단이고, 그 여론조사에 응한 사람들이 표본집단이 됩니다. 그래서 일단 표본집단의 수가 모집단의 수에 대비해 충분해야 합니다. 김치찌개의 간을 보겠다고 스포이트를 들고 오는 친구를 상상해 보세요. 한 방울로는 이 찌개의 간을 알 수 없습니다. 스포이트를 들고 온 그 친구는 아마 "이 찌개는 짜다!"라고 단언하려는 의도를 갖고 있을 가능성이 높습니다. 중앙선거여론조사심의위원회(이하 여심위)에서 각 여론조사가 충족해야 할 최소 표본 수를 정한 것은 지난 2016년 1월로 얼마 되지 않았습니다. 통계학적 신뢰성이 공인되는 표본 수의 최소치는 각각 지역구 하나에서 500명, 전국 단위에서 1000명이 통상적입니다. 다시 말해 그전까지는 통계학적 과락을 면하지 못한 여론조사들이 버젓이 공표되었단 얘기입니다. 우리가 지켜보지 않으면 법은 현실을 따라가지 않고 농땡이를 피우는 법입니다.

1993928974_cB081luZ_cd06d1c03b9c745a91d5842bcff041ca6727085d.jpg

간을 본단 핑계로 먼저 먹는 한 입. 모 정치인을 연상하면 안 된다. 게티이미지뱅크.

전국 단위 여론조사를 볼 때 표본 1000명을 채웠다고 안심하기엔 이릅니다. 표본집단 속 개인과 모집단 속 개인이 가진 지역, 세대, 성별, 직업, 학력, 소득 등의 특성이 다르기 때문입니다. 이 필연적인 차이는 여론조사 각각의 편향(Bias)이 됩니다. 의사 집단에게 의대 증원 문제를 묻는다면 숟가락을 들고 와도 찌개가 섞이지 않은 꼴이겠죠. 의도를 가진 여론조사들은 바로 이 지점에서 암약합니다. 자신들이 원하는 특성을 가진 이들만을 과표집해 편향을 의도하는 것입니다. 애초에 조사를 의뢰했던 고객도 원하는 바였으니 양심만 조금 무시하면 괜찮지 않을까요?

여심위 등록번호 13359번, 유튜브 채널 '고성국 TV'가 의뢰하고 KOPRA에서 시행한 이 여론조사가 그렇습니다. 이 조사는 4월 3일 수요일 오전 11시 40분부터 오후 3시 30분까지 시행됐습니다. 1000명이라는 볼륨 있는 최소치를 4시간도 채 안 되는 평일 낮 시간대에 해치운 것이죠. 이러면 자연히 보수적인 경향을 띄는 계층(무직, 은퇴 등)이 집단을 과대표하게 됩니다. 차후에 모집단의 계층 구성에 맞게 가중해도 메꿔지지 않는 한계가 생깁니다. 한편, 이 조사에서 거대 양당의 지역구 지지율은 민주당 47%, 국민의힘 45%로 '초박빙'이었습니다.

개인 휴대전화 보급률이 99.3%에 이르는 오늘날 의도적으로 유선전화(집전화)를 포함한다면 어떨까요? 2024년 한국에서는 군 단위에 사는 70대 이상 노인들도 95% 이상이 자신의 휴대폰을 갖고 있습니다. 글자 배율이 최대일지언정 능력껏 스마트폰을 활용합니다. 유선전화 9%를 무조건적으로 포함하던 여론조사 회사들의 오랜 관행은 어느덧 구습이 됐습니다. 여의도연구원은 비교적 최근인 직전 총선까지 유선전화 20%를 포함했지만, 이제 어느 두메산골에 있는 지역구도 이렇게 조사하진 않습니다. 여심위 등록번호 13437번, 코리아정보리서치에서 시행한 이 천안시 을 여론조사만 빼고 말입니다. 유권자 수 28만의 도시화된 지역구 천안시 을을 대상으로 한 이 여론조사의 유선전화 비율은 무려 27%에 달했습니다. 다만 이 조사에서 민주당 이재관 후보는 43%, 국힘 이정만 후보는 40.2%의 지지를 받았습니다. 시민들이 호락호락하지 않네요. 기사 한 줄 쓸 기회였는데, 아깝게 됐습니다.

미국의 정치·사회 여론조사 전문가들은 “당선 가능성을 묻는 것이야말로 조사 회사가 할 수 있는 가장 악랄한 질문”이라고 말합니다. 원하는 답변을 유도하는 행위라는 것이죠. 그리고 그 악랄한 질문을 조사의 서두에 배치한다면 우리는 더 이상 그들의 선의를 추정해 줄 수 없습니다. 상술했던 코리아정보리서치의 같은 조사는 전국의 유권자를 대상으로 지역구 하나를 콕 집어 '거기서 누가 되면 좋겠냐'라고 묻는 기행을 벌입니다. 된장찌개 한 술로 김치찌개의 간을 판단하는 이 질문은 세 번 더 이어집니다. 여심위 등록번호 13297번, 여론조사공정에서 시행한 이 여론조사의 이어지는 다섯째 질문은 보다 직접적입니다. "거대 야당의 폭주를 막아야 하는 선거라고 생각하십니까?" 그들은 자신들이 원하는 프레임에 민의가 박제되길 바라는 듯합니다.

이 글을 읽는 여러분 중 서울이 아닌 지방에 사는 분들이라면, 왠지 '02'로 시작하는 번호로 걸려온 전화는 받고 싶지 않다는 것에 공감하실 겁니다. 짚이는 맥락이 없으니까요. 정치에 무관심한 20대 청년들은 휴대폰의 차단 기능을 활용해 여론조사 전화를 스팸 취급합니다. 지난 대선에서 민주당에 60% 가까운 몰표를 던졌던 20대 여성들은 모르는 전화를 조심해야 할 다른 이유가 있습니다. 한국일보에 실린 정한울 박사의 칼럼이 주장하는 바와 다르게 말입니다. 그는 응답률이 낮은 조사는 민주당 지지율이 높고, 응답률이 높은 조사는 그 반대로 서로 상충한다는 이유만으로 '샤이 보수'의 존재를 예견했습니다. 물론 지난 대선에서 그들의 결정은 지금 시점에 와서 '샤이'할 만합니다. 하지만 지난 대선에서 조사 전화번호가 그대로 드러나는 RDD(Random Digit Dialing) 방식을 채택한 조사들이 입을 모아 윤 대통령의 오차 범위 밖 압승을 말했다는 걸 기억한다면 이 데이터에서 시대를 오독하는 일은 없을 것입니다. 이번 국면에서 꾸준히 여당의 선전을 예측하는 최병천 신성장경제연구소 소장이 이 칼럼을 자신의 페이스북에 공유한 것은 이 글에 특기합니다. 안심번호라고도 불리는 일회용 가상번호 방식으로 표본집단에 접근한 여론조사들은 그 비용 때문에라도 희소성을 갖습니다.

KOPRA의 평일 낮 조사를 얘기하면서 잠깐 언급한 가중도 여론조사의 신뢰도를 결정하는 중요한 요소입니다. 극단적으로, 조사에 응한 사람 중 20대 남성이 당신뿐이라면 당신 한 명의 의견은 20대 남성 전체의 것이 됩니다. 여심위가 통계 과정에서 줄이거나 늘릴 가중 이전 배율의 최소와 최대를 각각 0.4와 2.5로 정해둔 것은 이런 이유 때문입니다. 그리고 개인이 가질 수 있는 특성은 상기했듯 다층적이어서, 조사 대상에 2개의 성, 6개의 연령대, 17개의 지역이 병존한다면 모든 조건이 맞는(여성-40대-경기도) 셀 하나하나(2×6×17=204)마다의 최소치를 채워 조사할 수도 있고, 그렇지 않다면 각 변수에서의 전체적인 비율만 맞출 수도 있습니다. 전자의 방식을 셀가중, 후자를 림가중이라고 하는데, 기관 입장에서는 전자가 더 돈이 많이 들게 됩니다.

1993928974_cnHRLhX5_09a298c3a02398dee2ff963e1d23abd05d30c51f.jpg

통상적인 진보:중도:보수 3:4:3 비율을 한참 벗어난 모 여론조사의 보수 과표집.

그리고, 지난 3월 18일 첫 정치 여론조사를 시작으로 100% 웹 조사를 찍어내고 있는 모 조사기관에 대해서는, 사명을 언급한 특집 글을 예약해 두겠습니다. 하루빨리 본업인 신뢰수준 80%가 허용되는 마케팅 분야로 돌아가길 바랍니다.

대양의 한 방울로 살면서

조선일보 유튜브 라이브 〈박은주·신동흔의 더잇슈〉, 단독 딱지를 붙이고. 2024년 4월 4일.

이러한 결함들이 여럿 중첩된 여론조사를 그대로 믿을 수야 없는 노릇입니다. 예시로 거론한 여론조사 셋 중 두 개(KOPRA 13359, 공정 13297)는 림가중 방식을 채택했고, 23%에 이르는 유선 비율의 코리아정보리서치 13437을 포함한 셋 모두가 RDD 방식을 사용했습니다. 그리고 이 여론조사들은 그대로 자극적인 헤드라인의 글감이 됩니다. 그래서 펜을 쥔 이들은 다변화와 개인화라는 시대의 흐름이 고깝습니다. 이번 선거에서 조선일보는 '좌편향 여론조사'에 맞서는 민족정론의 역할로 분하고 싶은 모양입니다. 주말 오후부터 저녁 시간대에, 안심번호로 콜백과 재질문을 반복하는 모 여론조사기관이 전체 여론조사의 22%를 차지했다는 이유만으로 자체 유튜브에 부국장까지 출연해 해당 회사를 직격했습니다. 그 '편향적 유튜버'의 자체 조사보다 본인들이 의뢰한 조사에서 민주당 후보의 지지율이 더 잘 나오는 경우도 숱한데 말입니다. 자랑스러운 논조로 사실을 왜곡할 날도 얼마 남지 않았음을, 그들이 분해 보이긴 한 요즘입니다.

1993928974_um9j7VrA_ebafa3ea32e4de283f8887de370ba73870e25712.jpg

지난 7일 새벽 급히 수정되어 지금은 볼 수 없는 MBC 여론M의 성남분당 갑 그래프. 최근 6개 여론조사를 전승한 이광재 후보의 기세도 ±3%의 유령 앞에서는 긴장해야 한다.

직전 21대 총선에서 홀로 '민주당 180석'을 예측했던 유시민 작가는 자신의 칼럼에서 지난 총선 결과를 예측하던 과정을 이렇게 술회합니다. "한 지역구에서 최소 500명의 샘플이 보장된 조사 4개를 합치면 오차범위가 줄고 편향이 희석된다. 지극히 기계적인 작업이다. 재미없고 지루하다." 맞는 말입니다. 미꾸라지 한 마리도 바다를 흐릴 순 없고, 일상을 사느라 바쁜 우리들은 그 바다를 볼 시간이 없습니다. 그래서 저는 앞서 언급한 표본 수, 시간대, 연결 방식, 가중 방식 등 여론조사의 신뢰도에 영향을 미치는 여러 팩터에 따라 각각의 신뢰계수를 매겨 자체 신뢰계수가 0.4에 미달하면 과락시키고, 합격선을 넘은 나머지 여론조사들을 가중평균해 메타적으로 분석했습니다. 이 산정에는 팩터에 따라 달라지는 성향의 편향에 대한 조정이 반영됐습니다. 유 작가의 말에서 조금 더 발전된 것이니, 충분히 참고할 만한 합리적인 조망입니다. 37곳의 격전지에서, 169개의 여론조사가 반영(4월 6일 12시 기준)된 이 분석의 전체 데이터는 여기서 확인할 수 있습니다.

〈그랑드 자트 섬의 일요일 오후〉, 조르주 쇠라, 1884년, 캔버스에 유채. 몇 개의 점이 모여야 평범함 속의 아름다움을 그려낼 수 있을까.

이제 우리도 전체를 볼 수 있습니다. 갈등을 조장하는 리더에 맞서, 갈등을 삼키고 소화해 내고야 마는 이기적 개인들의 위대한 집합 말입니다. 깨어있는 시민은 역사의 우상향을 만듭니다. 대중은 때로 틀리지만 깨어있는 대중은 합리적입니다. 작동하는 집단지성이 민주주의의 가장 중요한 전제입니다.

제 분석에서 범야권이 가져갈 것으로 예측된 최소 의석 수는 199석(최대 217석)이었습니다. 투표를 안 하면 여론조사는 아무런 의미가 없습니다. 수많은 기득권과 기관들이 그토록 알고 싶어 했던 통계적 모집단이, 모이면 권력이 되고 돈이 되는 정보 그 자체가 이 화면 너머에 계십니다. 이 글을 읽는, 그리고 때로는 무력했던, 바로 그 여러분의 마음이 권력의 원천임을 적시한 대한민국 헌법 제1조를 빌려 이 글을 마칩니다.

대한민국 헌법 제1조

① 대한민국은 민주공화국이다.

② 대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다.

========================================================================

좀 더 예쁜 레이아웃으로 편하게 이 글을 읽고 싶다면,

혹은 ~~다모앙이 부끄러워서~~ 공유하기 껄끄럽다면 공유용 원문 링크 :

https://www.forword.kr/politics/6

이틀 전 여론조사 메타분석 글을 썼던 그 사람입니다.

쓰는 입장에서 일독 후 (특히 저관여층에게) 공유는 다음 글을 쓰는데 큰 힘이 됩니다.

한 명이라도 더 읽고 더 투표한다면.

읽고 좋았다면 글에 들인 품을 생각해 추천도 부탁드립니다.

감사히 받겠습니다.