본문듣기

ARS 조사 읽는 법... 민주당에 숨겨진 '위기'

[김봉신의 여론감각] 정당지지도와 무당층 연구 ① - 문항 순서효과

등록 2023.08.03 07:10수정 2023.08.03 07:26
22
원고료로 응원
최근 여론조사에서 '무당층 비율이 눈에 띈다'면서 필자에게 무당층 관련 분석을 해달라는 요청이 오기도 한다. 또 전화면접조사인지 ARS인지에 따라 정당 지지도가 달리 나오는 '모드 이펙트(mode effect- 조사 방법에 따른 결과값 차이)'에 대한 의견 요청도 받는다. 

이 두 가지는 순서대로 봐야 할 것 같다. 이번 기사에선 전화면접조사와 ARS의 차이에 대해 풀어보면서 과연 정세적으로는 어떤 의미를 발견할 수 있는지 살펴본다.

전화면접조사와 ARS조사 비교

먼저 최근 이슈가 되고 있는 전화면접조사와 ARS조사가 어떻게 다른지 정리해보자.
 
a

7월 3~4주 주요 여론조사 종합 7월에 공표된 여론조사 중 정례적으로 실시하는 전화면접조사와 ARS조사를 비교해봤다 ⓒ 한국갤럽외4개사

 
위의 표는 정례적으로 발표하고 있는 2개 전화면접조사와 3개 ARS조사의 7월 하순 결과다. 차트를 훑어 보면 전화면접조사와 ARS조사가 매우 다른 결과를 보여주고 있다. 몇 가지 정리를 하자면 다음과 같다.
 
① 전화면접조사에서는 더불어민주당이 20%대, ARS에서는 40~50%대로 큰 차이가 있다.

② 전화면접조사 중에서도 전국지표조사의 더불어민주당 지지도는 특히 낮고 무당층은 가장 높다.

③ 국민의힘은 상대적으로 차이가 크게 나지 않고, 무당층이 더불어민주당 지지도에 따라 변동한다.

④ ARS조사 중에서도 여론조사꽃은 국민 두 명 중 한 명이 더불어민주당을 지지한다고 해 주목된다.

필자도 정리를 하고 나서 '이렇게 전혀 다른 결과를 보여주는 조사들을 여론조사라는 틀에서 같이 묶을 수가 있는 건가'란 생각이 들었다. 일단, ARS를 조사방법으로 인정하지 않는 한국조사협회에서 볼 때는 저렇게 비교를 한다는 것조차도 별로 온당치 않다고 할 수도 있다. 그러나 언론에선 여전히 두 방식 모두를 '여론조사'라고 하고 있고, 중앙선거여론조사심의위원회에서도 ARS 방식을 완전히 금지하고 있지 않으니, 비교해서 얻을 수 있는 정보를 얻자는 취지다. ①부터 ④까지 살펴보자.


두 방법의 격차는 '모드 이펙트'를 넘어선 것

① 전화면접조사와 ARS조사 두 조사방법 간 민주당 지지도 차이를 보자. 두 조사방법에서 민주당 지지도는 최저 23%에서 최고 55.8%까지, 그 차이가 두 배를 훌쩍 넘는다. 이 정도의 큰 차이를 두고 조사방법이 달라 발생하는 결과값 차이로 이해할 수 있을까? 필자가 보기엔 다른 요인이 겹쳐서 발생하고 있는 것으로 보인다. 

왜냐면 전화면접조사는 대부분 설문 문항 중 국정수행 평가 문항을 먼저 묻고 그다음 지지하는 정당을 묻는데, ARS조사는 다르다. 지지하는 정당을 먼저 묻고 나서 국정수행 평가를 묻는다. 두 지표 문항의 순서가 달라서 발생하는 '순서효과(order effect)'가 겹쳐 있다. 그렇다면, ARS조사 중 국정수행 평가를 먼저 묻는 조사는 없나? 있다. 그 결과는 다음과 같다.
 
a

한국여론평판연구소 7월 1주 정당 지지도 6월 30일부터 7월 2일까지 3일 동안 ARS로 조사한 한국여론평판연구소(kOPRA)의 보고서에서는 국민의힘이 우세했다. ⓒ 한국여론평판연구소

 
위의 결과를 보면, 다른 ARS조사와는 완전히 다르다. 국민의힘이 43%로 더불어민주당 33% 대비 10%p 우세하게 나타났다. 같은 ARS조사이지만, 국정수행 평가 문항을 먼저 묻고 지지하는 정당을 그다음에 물으면 이처럼 다른 결과가 나타난다.

물론 문항효과가 있었는지 국민의힘이 다른 조사 대비 높은 지지도를 보였다. 실제 데일리안이 여론조사공정에 의뢰한 조사에서는 민주당 37.0% 국민의힘 39.1%로 대등했는데 이 조사에서도 문항의 순서는 국정수행 평가 문항이 먼저였다.

왜 '여론조사꽃' 조사에서만 민주당이 50%를 넘나

결국, 국정평가 문항이 먼저 등장하는 '선(先)국정+전화면접조사' 방식과 지지하는 정당 문항이 먼저 나오는 '선(先)정당+ARS' 방식이 완전히 극단적인 결과를 보여준다는 것을 알 수 있다.

이런 결과의 원인을 분석해보기 전에 ④번 문제, 즉 왜 여론조사꽃 ARS에서는 더불어민주당이 50%대로 나오는지를 확인하고 넘어가자. 물론 여론조사꽃의 최근 조사에서는 더불어민주당이 49.5% 국민의힘이 40.1%로 나타나 격차가 조금 줄었지만, 여전히 응답자 절반은 민주당을 지지한다는 결과다.

여론조사꽃의 ARS조사 문항을 들여다보면 다른 조사회사와는 다르게 지지하는 정당 문항에서 재질문을 한다. 전화면접조사에서는 '지지하는 정당이 없다' 혹은 '잘 모르겠다'라는 응답자에게 재질문을 하지 않으면 무당층이 40% 넘게 많이 나오기 때문에 이런 응답자 대상으로 1회 재질문을 하게 되는데, ARS조사에서는 재질문을 하지 않아도 고관여자 중심으로 추출되기 때문에 충분히 민주당과 국민의힘 양당으로 쏠림 현상이 나타나고 제3정당 지지자와 지지하는 정당이 없다는 무당층은 적어진다.

그런데도 여론조사꽃은 상대적으로 무당층이 적게 잡히는 ARS조사에서, 지지하는 정당이 없다는 응답자에게 다시 재질문을 해서 무당층 규모를 더 적게 쥐어짜고 있는 것처럼 보인다. 그러니 만일 지지하는 정당에서 어떤 편향이 나타난다면 그런 현상은 더 증폭될 수밖에 없을 것 같다.

대통령 국정평가에 의해 출렁이는 정당 지지도
 
a

윤석열 대통령이 지난 1일 서울 용산 대통령실 청사에서 국무회의를 주재하고 있다. ⓒ 연합뉴스

 
그렇다면, 왜 문항의 순서효과에 의해 정당 지지도가 크게 바뀌는지를 생각해볼 필요가 있다. 먼저 생각해야 할 점은 문항마다 응답자의 관여도에 차이가 있다는 점과 함께, 응답자 사고 속에서 앞선 문항에 의해 활성화된 프레임이 뒤따라 오는 문항에 영향을 줄 수 있다는 사실이다.

먼저, 지금 상황에선 지지하는 정당보다는 윤석열 대통령에 대한 평가에 응답자 다수가 더 고관여돼 있다고 보는 게 합당하겠다. 지지하는 정당 문항은 선거 임박할 때에 관여도가 서서히 높아지겠지만, 지금은 윤 대통령 관련 언론 기사가 더 많기 때문에 국민적 관심은 대통령에게 집중돼 있다.

그렇다 보니 만일 어느 정당을 지지하느냐는 문항을 먼저 접하게 되면, 이 문항에 여당인 국민의힘을 분명히 지지하는 응답자를 제외하면 윤 대통령에 대한 평가 프레임이 활성화 돼 부정적으로 평가하는 사람들은 민주당을 지지할 가능성이 커진다. 뒤따르는 국정평가 문항에서는 평가의 의미가 더 분명하고 관여도가 높은 문항이라서 평소 생각한 대로 긍정/부정을 선택하는데, 최근에는 부정 평가가 더 많다.

그렇지만 거꾸로 대통령 국정평가 문항을 먼저 접하는 경우에는 고관여된 국정 평가에 역시 긍정/부정을 평소 생각대로 분명히 선택을 하고, 뒤따르는 정당 지지도는 조금 달라진다. 왜냐면 윤 대통령을 평가했기 때문에 이번에는 정당을 평가하는 데 국정 평가 이외의 다른 요소에 따라 정당을 평가할 수가 있겠다. 윤 대통령을 평가했으니 김기현 대표 대 이재명 대표를 평가하거나, 혹은 국정을 평가했으니 각 당의 성과를 두고 평가할 수 있겠다.

따라서, 관여도가 높은 국정평가 문항을 먼저 묻는 방식이 정당 평가를 좀 더 분명히 한다고 봐야 할 것 같다.

선거가 다가오면 달라질 것인가

그렇지만, 내년 4월 총선이 다가오면 지지하는 정당 문항의 관여도가 높아질 것이다. 그렇다면 현재 ARS 결과처럼 민주당이 더 우세해질 수 있다는 전망이 있다. 필자로서도 공감하는 주장이다. 어쩌면 민주당은 선거 시기에 저관여 유권자 혹은 당에 충성도가 약한 지지자에 의한 득표력을 더 가지고 있는, '잠재력이 큰' 정당일 수 있다. 이는 앞에서 봤듯 국정 평가에 의해 정당을 선택하는 경우에 더 힘을 발휘할 수 있겠다. 

정말 그런지, 과연 '성난 유권자'가 여당과 야당 중 어느 정당을 선거에서 선택했는지를 보자. 상이한 결과를 가져온 두 사례를 준비했다.

먼저 2021년 LH사태로 인해 국민적 분노가 터졌던 상황에서 치러진 재보궐선거 시기를 보자. 이때는 분노한 유권자가 ARS에서 야당(국민의힘) 지지도를 밀어 올렸으니, 지금과는 여야만 바뀌었을 뿐 비슷한 상황이다. 당시 한국갤럽이 2021년 3월 23, 25일에 조사한 정당 지지도에서 더불어민주당은 32%, 국민의힘은 29%로 대등했고, 무당층은 26%였다.

그런데, 같은 시기인 3월 22~26일 리얼미터가 ARS로 조사한 정당 지지도에서는 국민의힘이 39.0%였고 민주당이 28.3%였다. 무당층은 전화면접조사인 한국갤럽 조사결과의 절반 정도인 12.4%였다. 분노한 야당(국민의힘) 지지자의 여론조사 응답 적극성이 매우 강했던 것으로 나타났다. 재보궐에서는 야당(국민의힘)이 서울시장과 부산시장에서 승리했으니, ARS 방식이 선거 결과와 비슷하게 나타났다고 할 수 있다.

또 다른 사례를 보자. 이번엔 2020년 국회의원 총선거를 앞둔 2019년 조국 전 장관 관련 충돌 때 여론이다. 2019년 10월 2주(8, 9일) 한국갤럽이 조사한 결과에 따르면 민주당 37%, 자유한국당 27%, 정의당 7%, 무당층이 22%로 나타나 선두 두 정당 중 민주당이 격차 10%p를 보이면서 앞섰다.

같은 시기 10월 7, 8, 10, 11일 리얼미터가 조사한 ARS 결과에서는 민주당 35.3%, 자유한국당 34.4%로 대등했고 무당층은 13.6%로 나타났다. 조국 전 장관 관련 논란으로 성난 야당(자유한국당) 지지자가 ARS에서 적극적으로 응답했다. 물론 여권 지지자들의 응답 적극성도 약하지 않았던 것 같다. 

조국 전 장관이 장관직에서 물러나 이슈는 잠복기로 접어들었고, 또 다른 거대 이슈인 코로나가 국민적 최대 관심사로 떠오른 상황에서 치러진 2020년 총선에서는 여당인 민주당이 압승을 거뒀다. 만일, 조국 논란을 선거 직전까지 끌고 갔다면 선거 결과는 예측하기 어려웠을 수 있겠다.

결국, 선거를 몇 개월 앞둔 시점에서 정당 지지도만을 갖고 선거 결과를 예단하는 것은 불가능하다. 국정 평가 프레임이 갖는 지배적 영향력도 사실 어느 방향으로 갈지는 알 수가 없는 게 현실이다. 그러니, 지금 ARS 결과를 가지고 민주당의 기초체력이 강하다고 주장하긴 어렵다.

민주당은 위기를 직시해야 한다
 
a

이재명 더불어민주당 대표가 지난 7월 28일 서울 여의도 국회에서 열린 최고위원회의에서 발언하고 있다. 사진 오른쪽은 박광온 민주당 원내대표. ⓒ 남소연

 
필자는 위 같은 여론조사 결과를 풀어 나가면서, 최근 민주당이 위기인가 아니면 우세를 유지하고 있는가 하는 문제에 나름의 결론을 도출하게 됐다. 결론적으로는 현재 상황은 '위기'라고 볼 수 있다. 다음 이유 때문이다. 

첫째, 국정 부정률로 인해 민주당의 지지도가 올라가는 효과가 있기 때문에, 정권 심판론으로 승부하면 효과가 클 것이라는 데 일부 동의하지만 그렇게 단순하지 않을 수 있다. 역설적으로 정권 심판이 선행되는 경우, 정당들을 성과와 인물 중심으로 평가하는 '선(先)국정 문항 순서효과'에 따르면, 위험한 상황이 올 수도 있다. 

2021년 주요 정당 대선후보가 결정된 뒤 12월에 김건희 여사 관련 의혹으로 윤석열 후보 지지도가 하락했을 때 이재명 후보는 승기를 잡은 듯 보였다. 그렇지만, 12월 5주에 김건희 여사는 사과 기자회견을 열고 국민적 심판대에 서는 것처럼 보였고, 그에 따라 일부 국민의 심판 욕구가 해소되기도 해 두 후보의 경쟁은 다시 '리셋'되는 것 같았다.

즉 심판론 프레임이 심판의 대상이 되는 측의 캠페인에 의해 국민적 관심을 더 가지지 못하는 상황이 되면, 오히려 '선(先)국정 문항 순서효과'처럼 정당들은 자신의 역량과 실적으로 평가 받게 될 수 있다. 그러면 자원을 많이 가진 여당이 더 유리할 수 있다.

둘째, 일부 ARS 결과는 중도 지지자 혹은 당 충성도가 상대적으로 약한 스윙 성향의 지지자의 투표 욕구를 저하시킬 수가 있다. 국민 둘 중 한 명이 민주당을 지지한다는 결과가 계속해서 언론에 노출되고 의기양양한 일부 고관여 지지자의 거침 없는 행동이 이어진다면, 그 효과는 민주당에겐 심각한 결과로 나타날 것 같다.

확증편향은 곧 낙관편향으로 이어진다. 캠페인의 정밀함은 무뎌지고 진성 지지자 위주의 메시지가 나간다. 청년 대상 전략이 오히려 중장년·노년 무시로 이어질 수 있고, 연대 전술보다는 책임정치 논리가 앞설 수 있다. 이 같은 배타적 전술로는 큰 선거에서 이기기 어렵다. 잊지 말아야 할 역사적 사실은, 김대중 전 대통령은 DJT 연합으로도 극히 미세한 격차로 당선됐다. 여기에서 J는 김종필, T는 박태준이었던 것을 고려한다면 연대 전술이 얼마나 중요한지 새삼 알 수 있다.

국민 과반이 민주당을 지지한다는 조사결과는 조사업체의 비즈니스에는 도움이 될 수 있지만, 민주당에겐 독이 될 수 있음을 알아야 한다.

그래서 이제 '무당층'을 봐야 한다
 
a

20대 대통령 선거 본 투표일이었던 2022년 3월 9일 오후 서울 동대문구 체육관에 마련된 개표소에서 개표 작업이 진행되고 있다. ⓒ 연합뉴스

 
앞서, 전화면접조사와 ARS를 비교하면서 제기한 문제 중에 ②전화면접조사 중에서도 전국지표조사에서 민주당 지지도는 특히 낮고 무당층은 가장 높은 비율이라는 점과 ③국민의힘은 상대적으로 차이가 크게 나지 않고, 무당층이 민주당 지지도에 따라 변동한다는 내용이 있었다. 두 가지는 모두 다음 글에서 분석해야 하는 '무당층 분석'에 대한 내용이다.

먼저 전국지표조사는 17개 광역별로 할당해 조사를 한다는 점을 기억하자. '부산·울산·경남'이라는 식으로 권역으로 묶어 조사하지 않고 광역별로 나눠서 읍·면 지역 유권자까지 조사를 한다. 그렇게 하면 민주당 지지도가 낮아지고 무당층이 많아진다는 것이다. 또 국민의힘은 지지도는 무당층과의 반비례하는 관계가 약한데, 민주당 지지도는 무당층과 반비례하고 있다는 점도 특이하다.

결국, 만일 주요 정당들이 당대당으로 경쟁할 때에는 그 규모가 실제 적지 않은 무당층에 더 관심을 가져야 한다는 것이다. 그럼 과연 선거를 앞두고 무당층으로 분류되는 응답자들은 현안에 어떻게 반응하고 있는지, 그래서 총선에는 어떤 영향이 있을지는 다음 글에서 살펴보도록 하자.
덧붙이는 글 위 기사에 인용된 여론조사는 아래와 같습니다. 

[ 한국갤럽 데일리 오피니언 - 의뢰자 없는 자체조사 ]
○ 제552호 2023년 7월 4주, 7월 25~27일 조사
○ 제441호 2021년 3월 4주, 3월 23일 25일 조사
○ 제373호 2019년 10월 2주, 2019년 10월 8일 10일 조사

[ 전국지표조사 (NBS) - 의뢰자 없는 자체조사 ]
- 엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치
○ 제101호 2023년 7월 3주, 7월 17~19일 조사

[ 조원씨앤아이 - 스트레이트뉴스 의뢰 ]
○ 7월 4주 긴급 여론조사, 7월 22~23일 조사

[ 리얼미터 조사 ]
○ 2023년 7월 4주, 7월 27~28일 조사 - 미디어트리뷴 의뢰
○ 2021년 3월 4주, 3월 22~26일 조사 - YTN 의뢰
○ 2019년 10월 2주, 10월 7, 8, 10, 11일 조사 - YTN 의뢰

[ 한국여론평판연구소(KOPRA) - 고성국TV 의뢰 ]
○ 2023년 6월 30일~7월 2일 조사

[ 여론조사꽃 - 의뢰자 없는 자체조사 ]
○ 제46차 정례 ARS 2023년 7월 21~22일 조사
○ 제47차 정례 ARS 2023년 7월 28~29일 조사

[ 여론조사공정 - 데일리안 의뢰 ]
○ 데일리안 정례조사 2023년 7월 24~25일 조사

더 자세한 사항은 중앙선거관리심의위원회 홈페이지를 참조해 주십시오.
#무당층 #전화면접조사 #ARS조사 #모드이펙트 #순서효과
댓글22
이 기사가 마음에 드시나요? 좋은기사 원고료로 응원하세요
원고료로 응원하기

메타보이스(주) 이사 여러 여론조사 기관에서 근무하면서 정량조사뿐 아니라 정성조사도 많이 경험했습니다. 소셜빅데이터 분석과 서베이의 접목, 온라인 정성 분석의 고도화에 관심이 많습니다.

AD

AD

AD

인기기사

  1. 1 금반지 찾아준 사람이 뽑힐 줄이야, 500분의 1 기적
  2. 2 검찰의 돌변... 특수활동비가 아킬레스건인 이유
  3. 3 '윤석열 안방' 무너지나... 박근혜보다 안 좋은 징후
  4. 4 '조중동 논리' 읊어대던 민주당 의원들, 왜 반성 안 하나
  5. 5 "미국·일본에게 '호구' 된 윤 정부... 3년 진짜 길다"
연도별 콘텐츠 보기