지난번에 고등학교 정기고사 위주의 이야기를 했다. 이번에는 대학수학능력시험을 중심으로 이야기를 해볼까 한다.

먼저 자세하게는 아니고 대략적인 출제 과정에 대한 이야기로 시작해볼까 한다. 아마 대한민국 사람이라면 학력고사 시절부터 시내 모처의 호텔에 감금되어 출제를 한다, 초상이 나도 출제위원은 밖으로 나갈 수가 없다는 풍문들을 들은 바 있을 것이다. 보통 이런 이야기들은 대부분 카더라 소식통에 의존할 수밖에 없다. 왜냐면 출제위원 선정 자체가 일종의 국가기밀이기 때문이다.  
 

큰사진보기
▲  3학년 학생들이 2021학년도 수능 9월 모의평가를 치르고 있다.
ⓒ 연합뉴스	관련사진보기

수능 출제는 어떻게?

약 10년 전에 기밀 누설과 관련하여 이런 일도 있었다. 수능 출제를 위하여 감금 생활에 들어가기 전에 출제위원 하나가 친구들과 술을 마시면서 자신이 올해 수능 출제를 하러 들어간다는 사실을 말한 것이다. 평소 같았으면 별 일 없이 넘어갔을 터인데, 하필이면 그 술자리 옆에 국정원 직원이 앉아 있었다.

정치인이나 기자 등 정보에 민감한 직업군에 있는 사람들이야 술자리를 가도 그런 이야기를 나누게 되면 주변을 살피는 게 생활화되어 있지만, 애들 가르치는 교사나 교수에게 그런 보안 정신이 있을 리 없다. 그대로 국정원 정보 라인을 통해 보고가 올라갔고, 술자리에서 입을 놀린 출제위원은 입소 하루 전날 그만 자격을 박탈당하고 말았다.

대학수학능력시험 출제 인원의 규모를 봤을 때 호텔 정도를 빌려서 소화해내기는 어렵다. 그런 대규모 호텔을 찾기도 어렵고, 대부분 큰 호텔은 서울 시내 중심가에 있기 때문에 보안유지가 쉽지 않다. 무엇보다 통째로 빌리기도 난망한 일이고, 비용이 만만찮게 들어갈 것이다.

지방에 있는 콘도미니엄이 적당하다. 수능 출제가 이뤄지는 시기는 관광 비수기라서 통째로 빌리기도 쉽고 규모가 커서 여러 부대시설들도 확보하기가 용이하다. 곧 있으면 2021학년도 대학수학능력시험 출제위원들이 입소를 할 터인데, 전국 어딘가에 있을 출제장으로 선정된 숙소는 삼엄한 경비 하에 출제위원 맞을 준비를 하고 있을 것이다.

감금 기간은 40일 정도 되는 것으로 알려져 있다. 과거에는 30일 정도였는데, 포항 지진 사태를 계기로 예비 문제 출제 업무까지 더해지면서 감금 기간이 보름가량 더 증가했다가 요즘은 그보다는 좀 줄어서 40여 일 정도라고 들었다.

수능 출제위원 한 사람이 약 네댓 문제 정도를 출제한다. 이쯤 되면 '어, 너무 적네' 하는 반응들이 나올 수 있다. 보통 고등학교 정기고사 때 나 같은 사회과 선생은 학기 당 100문제, 1년이면 200문제를 출제하는 경우가 태반이다. 출제 기간 2주 동안 일상적인 업무를 하면서 출제를 하기 때문에 문제 출제량이 비교가 안 된다. 그렇지만 이렇게 1년에 몇 백 문제를 출제하던 사람들도 수능 출제위원으로 들어가서는 단 한 문제도 제대로 출제하지 못하고 나오는 경우도 있다.

5천만 국민이 매의 눈으로 쳐다보는 가운데 중의적 해석의 여지를 없애면서, 객관적 정답은 존재하면서도, 변별력을 갖춘 문제를 낸다는 것은 생각보다 쉬운 일이 아니다.

출제, 1차 지적질, 2차 지적질, 그리고

출제위원들이 1차 문제를 완성하고 나면 며칠 후 굳게 닫힌 철문이 열리면서 일군의 검토 위원들이 출제위원과의 접촉이 금지된 가운데 출제장으로 입소를 한다. 주로 현직 교사들로 이뤄진 이 검토 위원들의 역할은 '트집 잡기'이다. 아주 기상천외한 트집들이 나와서 출제위원들을 질리게 하지만, 이는 수능 출제를 맡은 한국교육과정평가원이 의도한 것이다. 만에 하나의 오류라도 잡아내야 하는 역할들이 이들에게 있기 때문이다.

출제위원과의 접촉을 금지시키는 것은 출제 의도가 전달되어 새로운 시선으로 문제를 보는 것에 간섭 효과가 일어나는 것을 방지하기 위해서이다. 그들에게 필요한 것은 오직 텍스트로만 처음 문제를 봤을 때 발문들이 어떻게 읽히는가를 테스트하는 과정이다. 만약 여기서 다른 해석이 발생하면 출제위원은 그 해석의 여지도 없애는 노력을 해야만 한다. 출제위원에게 문제 해석의 전권을 주었다가 낭패를 본 경험이 많은 평가원이 고안해낸 절차이다.

지적질만 몇 십 년 째 해오던 프로불편러들이 한국 수능 인력풀에 등재되어 있다. 한국교육과정평가원은 출제진보다 이들에게 더 고마움을 느끼고 있을지도 모른다. 이들이야말로 돌발 사태처럼 벌어질 수능 출제 오류를 잡아줄 유일한 구원자들일 수 있기 때문이다.

'지적질'은 한 번에 그치지 않는다. 1차 검토위원들에 대한 설득이 끝나면 다시 또 지적질을 할 2차 검토위원들이 굳게 닫힌 철문을 열고 입성한다. 기껏 관점을 정리해놓았어도 새로 들어온 사람들과의 전투가 또 시작된다.

전투 와중에 얼굴을 붉히고 갈등이 고조되는 경우도 많다. 감금 생활의 스트레스 와중에 첨예한 이론 대립이 벌어지기 때문이다. 그리고 모두들 각자의 분야에서는 내로라하는 경력을 가진 사람들이다. 이들을 조율하는 평가원 직원들의 역할도 쉬운 게 아닐 것이다. 모두가 완전무결한 문제를 만들어가는 과정이다.

이런 와중에 한편에서는 시중에 나와 있는 문제집과 이번에 출제된 문제를 일일이 대조하는 작업을 하는 사람들이 있다. 그냥 수작업이다. 일일이 눈으로 확인해가면서 유사한 문제가 없는지 검증하는 것이다. 시중에 있는 문제집과 유사하게 출제되었다고 발칵 뒤집힌 적이 있으면서 강화된 조치이다. 사람들 생각이 뻔하고 정해진 교육과정 내에서 출제하는 거라 비슷한 문제가 나올 수밖에 없는데, 그 와중에 이런 변수까지 고려해야 하니 문제 출제가 쉽지 않은 것이다.

가끔은 과목과 과목 간에 제시문이 겹치는 경우도 있다. 국어 비문학 지문과 사회 탐구 영역의 문제들의 제시문이 겹칠 때가 있는데, 이럴 경우 보통은 사회탐구영역에서 양보를 해야 한다. 국어는 보통 세트로 문제가 나가기 때문에 지문 하나가 날아가면 제 때 문제 생산이 불가능해질 수가 있기 때문이다. 한 문제 정도만 땜질하면 되는 사회탐구영역이 재출제에 들어가는데, 보통 이런 날벼락이 발생하면 그 안에서 밤샘 작업을 하게 된다.

그럼에도 수능 오류가 나오는 이유

이쯤에서 한편으로 드는 의문 하나. 이렇게 우리나라에서 날고 긴다는 베테랑 출제위원과 세계 최고의 프로불편러들의 지적질을 통과하여 나온 수능 문제에서는 왜 오류가 계속해서 나오는 것일까?

의외로 사람들은 기본 법칙에 약하다. 그건 인간의 지식이 불완전하고 완벽한 인간은 없기 때문이다. 아주 원론적이고 누구나 고개를 끄덕거리는 원리에서 파생된 문제일 뿐이다. 오히려 사람이 내는 문제에 완전무결함을 바란다는 것이 무리가 아닐까?

기록상으로 나타나 있는 최초의 수능 출제 오류는 2004학년도 언어영역에서 발생했다. 백석이 지은 '고향'이라는 시와 그리스신화인 미궁 이야기를 접목한, 지금 봐도 꽤 창의적으로 출제된 문제였다. 수능에서는 창의성은 양날의 칼이라서 문제를 아름답게 하고 변별력도 확보하게 만들지만, 그만큼 출제오류의 가능성도 증대시킨다. 그래서 사달이 났다.
 

큰사진보기
▲  기록상으로 나타나 있는 최초의 수능 출제 오류는 2004학년도 언어영역에서 발생했다. 백석이 지은 "고향"이라는 시와 그리스신화인 미궁 이야기를 접목한, 지금 봐도 꽤 창의적으로 출제된 문제였다. 수능에서는 창의성은 양날의 칼이라서 문제를 아름답게 하고 변별력도 확보하게 만들지만, 그만큼 출제오류의 가능성도 증대시킨다. 그래서 사달이 났다.
	관련사진보기

이는 해석의 문제였다. 출제위원과 검토위원 간에는 해석의 공유점이 생겼지만, 문제가 한국교육과정평가원의 손을 떠나는 순간에 그건 수험생들의 해석 영역으로 들어간다. 여기서 통과가 되면 다행이지만, 집단 반발이 일어나게 되면 사태는 걷잡을 수 없이 일파만파가 된다.

이게 최초라 해서 수능 출제오류가 이전에 없었다고 보면 안 된다. 이후에 수능 출제오류가 심심치 않게 몇 년 주기로 계속해서 발생하게 되는데, 이는 하나의 권위가 무너지면서 발생한 연쇄적 현상이다. 지금의 잣대로 과거의 문제들을 하나하나 검증하면 곳곳에서 출제 오류가 발견될 것이 분명하다.

출제위원들을 괴롭히는 것은 수험생이라는 이해관계 당사자들만이 아니다. 이른바 자존심으로 똘똘 뭉친 전문 학문 집단들이 있다. 아마 논문을 써본 경험이 있는 사람들은 앞부분에 전제를 잘 달고 한계점을 명확히 해서 논문을 시작해야 한다는 걸 잘 알 것이다. 출제에서도 이는 어김이 없다. 과학에서 오직 지면의 텍스트로만 문제를 출제할 경우에 문제가 갖고 있는 전제를 명확히 하지 않으면 복수 정답 시비에 들어간다. 그리고 이런 문제를 잘 꼬집어내는 기관이 바로 관련 학계이다.

학계로서야 전제가 명확하지 않으면 결론도 명확하지 않다는 지극히 당연한 진리의 추적 과정을 내세울 수밖에 없다. 어느 순간 수능 시험은 학문적 차원에서도 오류가 없어야 한다는 대원칙이 정립되었는데, 이는 주로 과학, 그 중에서도 물리 과목에서 오류가 지적되면서 생겨난 원칙이다.

가끔 드물긴 하지만 명백한 사실 오류로 인해 출제 오류가 인정된 경우도 있다.

2010학년도 지구과학 I 과목에서 발생한 출제 오류가 이런 경우였다. 출제가 되던 해에 발생한 일식 현상을 소재로 문제가 출제되었다. 지구과학 원론적으로는 개기 일식 지역의 일식 관찰 시간이 부분 일식보다 긴 법인데, 그 현상에서는 부분 일식 관측 시간이 실제로 더 길었던 것이다. 출제진들이 그 같은 사실을 알 리가 없었고, 검토위원들도 그 부분까지는 짚어내지 못하였다.
 

큰사진보기
▲  명백한 사실 오류로 인해 출제 오류가 인정된 경우도 있다. 2010학년도 지구과학 I 과목에서 발생한 출제 오류가 이런 경우였다. 출제가 되던 해에 발생한 일식 현상을 소재로 문제가 출제되었다. 지구과학 원론적으로는 개기 일식 지역의 일식 관찰 시간이 부분 일식보다 긴 법인데, 그 현상에서는 부분 일식 관측 시간이 실제로 더 길었던 것이다.
	관련사진보기

이걸 밝혀낸 사람들은 아마추어 천문활동을 하는 교사들이었다. 실제로 관측한 사람들이 이의제기를 한 것이다. 해당 일식에서는 부분일식 관측 시간이 더 길었다는 것. 출제 문제가 물어보고자 한 것은 해당 일식에 대한 선 지식이 아니었지만, 진릿값에 어긋나는 정답을 한국의 대학수학능력시험에서 용인할 수는 없는 일이었다.

수능 문제당 최소 원가 1천만원

대학수학능력시험 출제기관인 평가원의 수장 자리는 그동안 출제오류 사유로 여럿 날아갔고, 법원으로까지 가서 판결이 난 경우도 있었다. 소송이라는 것이 하루아침에 나는 것도 아니고, 관련 대학 입시가 모두 끝난 후에 판결이 났으니 그때의 혼란상이 이루 말할 수 없었을 것이다.

그렇다고 해서 K-수능을 무시할 것까지는 없다. 아마 문제 수준 자체는 세계 어디에 내놓아도 완성도가 높다고 보면 된다. 세계 어느 나라가 이런 고급 인력에 이런 돈을 주고 이런 고비용의 문제를 출제할 수 있을까 생각해보면 답이 나온다. 우리나라는 수능 듣기 평가를 위해 날아다니는 비행기의 착륙 시간도 조정하고, 국제회의를 개최할 때도 수능 일정이 어떻게 되는가부터 살펴보는 나라다. 이만한 경제력에 이만한 고급 인력을 투자해서 표준화된 5지선다형 대입 문제 출제 노하우를 갖춘 나라는 찾기 어려울 것이다. 실제로 한국교육과정평가원에는 각국에서 출제시스템을 벤치마킹하기 위하여 배우러 오고 있기도 하다.

수능 출제 원가는 직접 비용만 감안해도 한 문제 당 최소 1000만 원이 넘어간다. 강남의 일부 사교육 기관에서는 무슨 비기라도 되는 양 자기들이 출제했다는 봉투 모의고사를 자랑하는 경우도 있다는데, 자본주의 법칙 상 수능 기출문제보다 더 좋은 품질의 문제가 나올 가능성은 거의 없다. 수능 기출문제도 다 분석해서 들어가기 어려운 법인데, 여기에 각 교육청에서 한국교육과정평가원 시스템을 도입하여 출제하는 전국연합 학력평가 문제까지 감안하면, 극히 일부 학생을 제외하고는 별도의 모의고사 문제가 필요한지 매우 의문이다.
 

큰사진보기
ⓒ 연합뉴스	관련사진보기

1년에 총 3회에 걸쳐 완벽한 수능 시스템으로 문제가 출제 된다. 6월과 9월에는 대수능모의평가라 해서 수험생도 연습하고 평가원도 연습하는 모의고사가 있다. 학생들은 모의고사, 평가원은 모의 출제 연습을 하는 것이다. 여기에 서울시와 경기도교육청 등 지역교육청이 주도가 되어 실시하는 전국연합까지 학생들에게는 부족함 없는 시험들이 학기 중에 거의 매달 실시가 된다.

매년 수능이 끝나고 성적이 발표되면 한국교육과정평가원이 있는 충북 진천의 시골 마을에는 길게 자동차의 행렬이 늘어선다고 한다. 성적 산출에 오류가 있어서 직접 눈으로 보고 확인해야겠다는 줄이다. 100% 문제없음이란 걸 확인하고 수험생과 학부모는 힘없이 되돌아간다.

이것은 수능에 논서술형 도입이 어려운 이유이기도 하다. 혹자는 문제은행식 출제를 주장하기도 하지만, 대한민국 같이 K-사교육의 수준이 높은 나라에서는 금세 문제은행 금고에 들어가 있는 문제의 원형들이 복원되고 말 것이다. 그리고 미국과 같이 땅덩이가 넒은 나라는 우리나라와 같은 시스템을 도입하려야 도입할 수가 없다. 일제히 시험을 치른다고 어느 주에서는 밤중에 시험보라고 할 수는 없는 노릇이기 때문이다. 각 나라의 입시 제도는 각 나라의 상황에 맞게 진화해 온 것이다. 프랑스의 바칼로레아는 그 나라이기 때문에 가능한 대입제도이다.

출제오류가 나온다고 너무 수능을 욕하지 마시라. 수험생도 불쌍하지만, 알고 보면 수능 출제기관도 참으로 고생하는 조직이다. 완벽하지 않은 인간이 완전을 꿈꿔야 하기에 그렇다.