수잔 하인스(Susan Hines)
⊙ 美 ETS(Educational Testing Service)사(社) 토익스피킹시험 수석 개발자.
⊙ 美 캔자스대(University of Kansas) 경영학 학사, 교육학 석사.
취재지도 : 裵振榮 月刊朝鮮 기자
⊙ 美 ETS(Educational Testing Service)사(社) 토익스피킹시험 수석 개발자.
⊙ 美 캔자스대(University of Kansas) 경영학 학사, 교육학 석사.
취재지도 : 裵振榮 月刊朝鮮 기자
영어 말하기 시험 토익스피킹(Toeic Speaking Test)을 본 사람이 2006년 12월 첫 실시 이래 100만명을 넘어섰다.
2007년 1만5000여 명이던 연간 토익스피킹 응시자는 2012년 26만명으로 5년간 17배 성장했다. 국내 주요기업이 영어 말하기 시험성적을 취업 전형에 포함시키면서 토익스피킹 시험의 수요가 크게 늘었기 때문이다.
그러나 이렇게 폭발적인 성장을 하고 있는 토익스피킹 시험에 대한 우려도 만만치 않다. 말하기 시험의 특성상 컴퓨터가 아니라 사람이 채점할 수밖에 없기 때문이다.
한 네티즌은 토익스피킹 시험 자유게시판에 “어떤 채점관은 점수를 후하게 주고, 어떤 채점관은 점수를 짜게 준다고 들었다”며 “어느 시험장이 좋으냐”는 질문을 올려놓았다. 한 응시자는 시험 후기(後記)에 “채점관이 모든 내용을 듣고 채점하는 것 같지는 않다”며 “한국에서만 응시자가 수만 명이라 일일이 못 들을 것”이라고 했다.
이 외에도 “문제를 못 들었을 때, 문제와 관계없이 아무 말이라도 하면 부분점수는 받을 수 있다”는 등의 확인되지 않은 소문도 무성하다. 《월간조선》은 도대체 채점을 어떻게 하는 것이며, 갖가지 소문은 어디까지가 사실인지를 알기 위해 마침 한국을 찾은 토익스피킹 시험 수석개발자(Assessment Director) 수잔 하인스(Susan Hines) 씨를 만나보았다.
토익스피킹 시험은 컴퓨터를 활용하여 진행한다. 시험문제가 나오면 응시자가 마이크에 대답하는 형식이다. 응시자의 답변은 녹음파일로 저장되어 채점자에게 전달된다. 시험은 11문제이며, 사진을 묘사하거나 의견을 말하는 등 크게 6가지 유형이 있다. 원점수는 200점 만점, 등급은 원점수에 따라 최저 1급에서 최고 8급으로 나뉜다.
—채점은 어떤 과정을 통해 이루어집니까?
“응시자들의 답변은 1번부터 11번까지 11개의 녹음파일로 각각 저장되어 ETS(Educational Testing Service·교육평가원) 본사로 전송됩니다. 전 세계의 답변이 한곳에 모이죠. 전송된 답변들은 1번 문제는 1번 문제끼리, 11번 문제는 11번 문제끼리 분류돼서 무작위로 채점관들에게 분배됩니다. 채점자가 한국 사람의 답변을 한 번 채점했다면, 다음은 중동 사람의 답변을 채점할 수도 있죠.
평균 여섯 명의 채점관이 한 사람의 답안을 채점합니다. 여섯 명이 11문제 전부를 채점해서 평균을 내는 건 아닙니다. 각자 다른 문제를 채점하죠. 최소 세 명에서 최대 열한 명이 참여합니다.”
채점관들은 응시자들의 신상에 대해 알지 못하고, 채점할 문항번호도 날마다 바뀐다고 한다. 채점관들의 선입견(先入見)을 배제하기 위한 결정이라는 설명이다.
—채점관도 사람인 이상 부정확한 채점 결과를 내놓을 수 있는데, 그걸 막을 대책이 있나요?
“채점관도 채점 당일 칼리브레이션테스트(Calibration Test)라는 시험을 봅니다. 시험 개발자들이 미리 채점해 놓은 답변들을 다시 채점하는 시험이죠. 이때 개발자와 똑같이 채점해야 통과합니다. 시험에 탈락하면 채점에 참여할 수 없어요. 아침과 오후, 하루 두 번 시험을 칩니다.”
—채점관을 뽑는 기준에 대해서 알고 싶습니다. 누가 채점관이 되는 건가요?
“대졸 이상의 학력과 ETS에서 제시하는 언어능력자격증이 있으면 됩니다. 추가로 영어교육경력이 있으면 유리합니다. 그래서 채점관들은 주로 전·현직 교사들이죠.”
토익스피킹 시험 채점관은 ETS 정직원이 아니라 계약직이다. 부업(副業) 개념이다. 채점관이 되면 정해진 일정에 따라 채점이 있는 날 출근해서 채점한다. 미국과 캐나다에 거주하는 사람만을 뽑으며, 영어가 모국어인지와 인종 등은 따지지 않는다. 그의 말이다.
“영어가 모국어인 사람만을 뽑는 것은 ETS의 이념과 맞지 않아요. 그렇게 되면 영어권 사람만이 수준 높은 영어를 할 수 있다는 뜻이니까요. 모국어가 영어가 아닌 사람도 얼마든지 수준 높은 영어를 할 수 있어요. 자격만 갖춘다면 누구나 채점관에 지원할 수 있습니다.”
“응시자 몰린다고 채점 대충 안 해. 오히려 응시자 적을 때가 문제”
—채점 당일 칼리브레이션테스트를 하는 것 이외에 시험의 객관성을 보장하기 위한 다른 수단은 없나요?
“CSL(Contents Scoring Leader)이라는 선임 채점관이 채점팀을 이끌어요. 1년간 정확한 채점실적을 보여준 사람들이죠. CSL은 다른 채점관들이 채점하기 어려운 답변들을 채점하고, 본인도 채점하기 애매할 경우 개발자에게 직접 채점을 의뢰합니다. 1년에 300일 이상 채점을 하는데, 제 경우엔 일주일에 두 번 정도 연락을 받아요.”
토익스피킹 개발자들은 실시간으로 채점 상황을 모니터링한다. 채점 속도가 너무 빠르지는 않은지, 채점 속도가 느리다면 무엇이 원인인지 파악하기 위해서이다. 채점관, CSL, 개발자로 이어지는 핫라인이 구축되어 있다.
—한국의 봄·가을 채용시즌처럼 응시자가 몰릴 때는 어떻게 대응합니까? 응시자들이 “그 많은 답안을 일일이 채점하는 것이 가능하냐. 몇 개의 답변만 들어보고 점수를 매기는 것 아니냐”고 우려하고 있습니다.
“채점관이 많기 때문에 응시자가 몰리는 성수기는 걱정하지 않아요. 오히려 응시자가 적어 채점관들에게 일을 나눠주지 못할 때가 문제예요. 힘들게 채점관 자격을 얻었는데, 일이 없다면 누가 채점관을 하려고 하겠어요. ‘응시자가 몰려서 채점을 대충한다’는 말은 전혀 사실이 아닙니다. 우리는 잠재적 수요를 파악하고 미리 대비합니다. 예를 들어, 올해 상반기에 한국의 모 대기업이 2만3천여 명을 고용한다고 발표하면 미리 준비하는 식이죠. 국가마다 채용시즌이 달라 응시자가 몰리는 시기도 다릅니다. 유동적인 응시자 수에 대응하기 위해 최선을 다하고 있어요. 정말로 채점자가 부족할 때는 제가 직접 채점하기도 해요.”
—답변준비 시간이 짧다는 것에 대해서는 어떻게 생각합니까. 특히 마지막 11번 문항은 60초 동안 답변해야 하는데 준비시간은 15초밖에 되지 않아 어려움이 많습니다. 영어권 국가에서 살다 온 사람들도 짧은 답변준비 시간 때문에 적잖이 당황한다는데요.
“실생활을 최대한 반영하려고 했어요. ‘오늘 점심 뭐 먹었니’라고 물었는데 ‘나는 그 질문에 대한 답변을 준비하기 위해 약 15초가 필요해’라고 말하는 사람 보셨나요? 실생활에서는 있을 수 없는 일이죠. 토익스피킹 시험은 글로벌비즈니스 활동을 위한 의사소통능력을 측정하기 위해 만든 거예요. 실생활이 반영되지 않으면 의미가 없어요.”
“심층인터뷰가 오히려 객관성에 문제”
토익스피킹 시험의 답변시간을 모두 더하면 6분이다. 단 6분으로 응시자의 전반적인 영어 말하기 실력을 평가할 수 있을까. 수잔은 “11문제는 부족하다는 의견이 있다. 문항 수를 늘릴 계획은 없느냐”고 묻자 잘라 대답했다.
“저는 현재 11문항이 충분하다고 자신합니다. 개발 당시 19문항으로 시험을 치렀어요. 한국, 프랑스, 일본에서 2500명의 응시자를 대상으로 데이터를 모았습니다. 응답 수만 5000개에 달합니다. 모두 면밀히 분석했어요. 분석결과를 토대로 10문항으로 시험을 구성했고, 테스트를 거쳐 한 문제를 추가했어요. 토익스피킹 시험의 답변시간을 다 더하면 6분입니다. 토플(TOEFL)도 마찬가지죠. ETS는 6분이면 응시자의 영어회화 실력을 충분히 평가할 수 있다고 결론 내렸습니다.
또 질문을 추가할 때마다 응시료가 오를 수밖에 없어요. 부담은 고스란히 응시자에게 돌아가죠. 응시자의 피로가 쌓이는 것도 문제입니다. 응시자의 영어 실력을 충분히 반영하면서 응시료 부담, 응시자의 피로를 최소화하기 위한 접점이 현재의 11문항, 6분입니다.”
—면대면 심층 인터뷰 방식을 고려해 본 적은 없습니까? 조금 비싸더라도 일대일 인터뷰 방식이 있었으면 좋겠는데요.
“ETS는 과거 LIP(Language Proficiency Index) 시험을 운영했었습니다. 면대면 인터뷰 방식이었죠. 당시 후광효과(後光效果·Halo Effect) 때문에 채점의 객관성에 문제가 있었습니다. 응시자의 첫인상, 첫마디가 전체 성적에 영향을 준다는 것을 발견했죠. 또 채점관 본인도 모르게 현재 응시자와 이전 응시자를 비교하게 되는 것도 문제였어요.”
면대면 인터뷰 시험은 질문과 채점이 동시에 이루어지기 때문에 채점관이 피로해지기 쉽다. 비용도 비싸다. 응시자마다 질문의 순서도 달라질 수 있다. 수많은 응시자를 동일한 조건에서 평가하기 위해 문제 단위로 채점할 수밖에 없었다는 설명이다.
潘基文 유엔사무총장의 영어 실력
—만약 반기문(潘基文) 유엔사무총장이 토익스피킹 시험을 보면 몇 등급을 받을까요? 저희가 보기에는 전형적인 한국 토박이 발음인데요.
“딱 봐도 한국 사람인지 알아챌 수 있는 발음상의 특징이 있어요. 반기문 유엔사무총장도 예외가 아닙니다. 상당히 강한 한국 억양을 사용하죠. 하지만 모든 사람이 그분의 말을 알아들을 수 있어요. 싸이도 마찬가지죠. 무리 없이 의사소통합니다. 억양은 채점대상이 아니에요. 말만 통하면 됩니다.
반기문 유엔사무총장은 완벽하지는 않아도 목적에 충분히 부합하는 영어를 합니다. 상당히 높은 수준의 영어를 구사해요. 저는 본토 발음을 배우겠다며 고유한 억양을 버려야 한다는 말에 동의하지 않아요. 몇 가지 발음만 주의하시고, 본인의 억양은 간직하세요.”
그녀는 “억양은 자신이 누구인가를 알려주는 것”이라며 “본인의 고유한 억양을 절대로 잃어버리지 말라”고 가르친다. 억양에는 언어실력 이외에도 다양한 정보가 담겨 있기 때문에 억양이 바뀌는 순간 자신에 대한 주변 사람들의 기대, 평가가 바뀌게 된다.
만약 반기문 유엔사무총장이 완벽한 미국식 억양을 가지고 있었다면, 반 총장을 처음 본 사람들은 그를 아시아계 미국인 정도로 생각했을 것이다.
수잔 하인스는 한국계 미국인이다. 검은 머리 검은 눈의 전형적인 한국인 얼굴이다. 수잔은 한국에서 태어나 다섯 살 때 미국으로 입양되었다. 늦은 나이에 미국으로 건너가 미국의 언어와 문화를 배우던 과정을 상당부분 기억하고 있다.
어릴 적부터 문화와 언어교류에 관심이 많았고, 대학시절 유학생들에게 영어를 가르치며 영어교육에 흥미를 느꼈다고 한다. 이후 러시아, 멕시코 등지에서 영어를 가르치며 교육학 석사학위를 취득했다. 현재 10년 가까이 ETS 연구원으로 일하고 있다.
—토익스피킹 수석개발자가 한국계 미국인이라는 사실이 놀랍습니다.
“한국이 남다르게 느껴지는 건 어쩔 수 없네요. 한국의 문화와 언어가 친숙하게 느껴집니다. 지난 6년간 한국을 여러 번 방문할 수 있어서 좋았어요. 특히 한국 음식을 좋아해서 미국에서도 한국 음식을 많이 먹는 편이에요. 가족들은 제가 김치를 먹는 것을 보고 놀라요.”
점수 환산 방식은 ‘영업기밀’
—채점표를 보고 계산을 해봤습니다. 아무리 계산해도 200점이 되지 않습니다. 점수는 어떻게 계산하나요?
“10번과 11번 문제는 5점 척도(0~5점), 나머지 문제는 3점 척도(0~3점)로 채점해서 각각 원점수를 냅니다. 이 점수를 심리통계부서(Psychometric Department)에서 200점 만점으로 환산하죠. 환산하는 원리는 기밀이라 밝힐 수 없습니다.”
그녀는 “점수환산 원리(原理)를 밝힐 순 없지만 ‘응시자가 얼마나 잘했는가’에 대한 절대적인 평가는 변하지 않는다”고 거듭 강조했다.
—토익도 그렇지만 피드백(Feedback)에 대한 불만이 많습니다. 현재 원점수와 등급만 제공하는데, 응시자들에게 적극적으로 시험 정보를 제공할 계획은 없습니까? 예를 들어, “발음이 부정확하다”, “유창성(流暢性)이 떨어진다”처럼 말이죠.
“기술적으론 가능합니다. 시간과 돈이 문제예요. 개인적인 피드백을 제공하려면 시간이 오래 걸리는데, 응시자들은 언제나 빠른 성적공개를 원해요. 또 전문적인 피드백을 제공할 수 있도록 채점관들 훈련하려면 추가비용이 들어요. 응시료가 올라가게 되죠. 만약 개별적인 피드백에 대한 수요가 생긴다면 추가비용을 내고 피드백을 신청하는 서비스를 출시할 수는 있겠죠.”
—한국의 토익스피킹 시험 응시인원이 눈에 띄게 늘었습니다. 세계적인 추세와 비교하면 어떤가요?
“세계로 진출하는 한국 기업이 많아요. 한국의 토익스피킹 응시자 수가 늘어난 건 자연스런 일이죠. 그런데 한국에서만 응시자 수가 급격히 늘어난 건 아닙니다. 중동과 아프리카에서도 크게 늘었죠. 주로 유럽으로 취업이나 이민, 유학을 가기 위해 응시합니다. 한국만 응시인원이 많이 늘어난 건 아니에요.”
한국 응시자들은 W, B・P, F・V 발음에 약해
—한국의 토익스피킹 성적은 높은 편입니까?
“아직 섣불리 말할 수 없어요. 데이터를 좀 더 모아야 확실히 말할 수 있어요. 굳이 말하자면 한국 응시자들의 평균실력은 중급수준(Intermediate level)입니다.”
수잔 하인스 수석개발자는 4, 5, 6급을 중급수준으로 봤다. 4급은 중하급(Low Intermediate Level), 6급은 중상급(High Intermediate Level) 수준이다. 6등급은 상대방의 말을 대부분 알아들을 수 있고, 경우에 따라 단어나 짧은 문장으로 대답까지 할 수 있다. 지속적으로 대화를 이어가거나 의견을 말하기에는 부족하다. 그녀는 지속적인 의사소통을 하려면 최소 7급 이상이 필요하다고 했다.
—채점기준으로 발음, 유창성, 내용 등이 있었습니다. 한국 응시자들이 특히 약한 부분이 있나요?
“한국인은 발음이 약해요. 특히 ‘W’ 발음과 양순음(兩脣音) ‘B’, ‘P’, 순치음(脣齒音) ‘F’, ‘V’ 등 자음이 약합니다. 한국인이 ‘Free Food’를 읽으면 우리에겐 ‘Hree Hood’로 들리죠. 더 노력해야 할 부분이라고 생각해요. 하지만 영어에서 발음은 의사소통 과정의 일부에 불과해요. ‘잘 지내느냐(How are you doing?)’고 물었는데, ‘아홉 시야(It's 9 o'clock)’라고 (동문서답식으로) 대답하는 건 아무리 발음이 좋아도 의미가 없어요. 토익스피킹도 마찬가지예요. 질문에 적절하게 대답하는 것이 가장 중요합니다. 발음은 그다음이에요.”
—그렇다면 “문제를 듣지 못했을 경우 아무 말이라도 하면 발음과 유창성을 인정받아 부분점수는 받을 수 있다”는 소문도 틀린 말인가요?
“점수를 주는 기준은 세 가지예요. ‘정확히 대답할 수 있다’, ‘어느 정도 대답할 수 있다’, ‘대답할 줄 모른다’입니다. 발음, 유창성 등은 부차적인 문제죠. 내용 자체가 동문서답이라면 다른 항목들은 채점할 필요도 없습니다. 응시자용 수험가이드에 굵은 글씨로 표시된 항목이 문제의 본질을 가장 잘 반영하는 채점기준입니다.”
토익스피킹 속성학원은 연구대상
—이전 어느 인터뷰에서 “학원에 등록하면 강사에게 양질(良質)의 개인지도를 받을 수 있다”고 했습니다. 한국에는 학생 수가 80명도 넘는 대형 토익스피킹 강의가 많은데, 이런 환경에서도 강사로부터 개인지도를 받을 수 있을까요.
“물론입니다. 캔자스 대학에서 실용영어를 가르칠 때 학생 수가 75명이었어요. 열 살 꼬마부터 75세 어르신까지 연령대도 다양했죠. 그때도 가능했습니다. 비록 수강생 모두가 매일 개인지도를 받을 순 없지만, 노력하는 강사라면 수강기간 동안 최소 두세 번은 개인지도를 해줄 수 있다고 봅니다. 배우는 사람 역시 의지와 책임감을 가지고 수업에 임해야 합니다. 부족한 부분이 있으면 선생님께 상담요청을 해야 합니다.”
—취업난이 심각하고 학생들은 영어성적 이외에도 준비할 것이 많습니다. 한국에는 토익스피킹 2개월 과정이 많고, 2주 만에 7급을 목표로 하는 속성반도 있습니다. 6급이나 7급을 취득한 이후 영어회화를 뒤로하고 다른 스펙을 쌓는 사람도 있는데요, 기업 입장에선 “토익스피킹 7급인데 정작 말을 못한다. 토익스피킹의 신뢰도에 문제가 있다”고 주장할 수 있을 것 같습니다.
“기업 인사팀에게 구직자들의 토익스피킹 점수에 공감하지 못하겠다는 의견을 간혹 듣습니다. 단기간에 5급에서 7급으로 뛰어오르는 사례가 간혹 있기 때문에 우리도 인정할 수밖에 없어요. 그때마다 해당 응시자를 찾아서 연구하고 싶어요. 아웃라이어(outlier·비범한 사람)의 존재를 인정해야 합니다. 하지만 통계상 극히 드물어서 일반화하기는 어려워요. 사례를 수집하며 연구해 볼 필요가 있다고 봅니다.”
—토익스피킹은 문제유형이 정해져 있다고 합니다. 회(回)마다 문제가 비슷해서 정해진 문장 수십 개만 외워가면 손쉽게 고득점을 할 수 있다는 의견도 있는데요.
“‘같은 문제 반복출제 금지’가 ETS의 방침입니다. 유형이 정해져 있는 것과 같은 문제가 반복적으로 나오는 것은 다릅니다. 토익스피킹은 응시자가 얼마나 많은 문장을 외웠는지 측정하는 시험이 아니에요. 만일 그랬다면 누구나 손쉽게 고득점을 받았을 겁니다. 그런데 6년간의 데이터를 보면 평균점수의 변화를 찾아볼 수 없어요. 문제유형을 정해놓은 것은 응시자들이 동등한 환경에서 시험을 볼 수 있게 하려는 것이지 문장을 외워오라는 것이 아니에요.”
—토익스피킹 시험이 대중화되면서 응시자들의 수준이 높아지고 있다는 의견도 있습니다. 동의할 수 있는 얘긴가요.
“우선 평균점수가 오르는 것을 보고 싶어요. 영어교육자이자 시험 개발자로서 정말 바라는 일이죠. 그런데 토익스피킹이 나온 지 7년이 다 된 지금까지 평균점수의 변화는 거의 없었어요. 상당히 안정적이었죠. 5년 뒤, 10년 뒤는 모르겠지만 지금 당장은 시험을 새로 설계해야 할 만큼 점수의 상향평준화는 이뤄지지 않았어요.”
—그렇다면 “체감난이도가 상당히 올랐다”는 말도 전혀 근거 없는 주장일까요?
“시험설계도 건축과 비슷합니다. 평가목표가 담긴 청사진이 있죠. 우리는 7년 동안 청사진을 바꾸지 않았어요. 시험난이도를 마음대로 조정하면 형평성에 어긋납니다. 작년에 시험을 친 사람과 올해에 시험을 친 사람이 같은 회사에 지원한다고 생각해 보세요. 성적을 동등하게 비교할 수 없게 되죠. 5년 전에 친 시험과 올해 친 시험은 난이도가 동일합니다.”⊙
2007년 1만5000여 명이던 연간 토익스피킹 응시자는 2012년 26만명으로 5년간 17배 성장했다. 국내 주요기업이 영어 말하기 시험성적을 취업 전형에 포함시키면서 토익스피킹 시험의 수요가 크게 늘었기 때문이다.
그러나 이렇게 폭발적인 성장을 하고 있는 토익스피킹 시험에 대한 우려도 만만치 않다. 말하기 시험의 특성상 컴퓨터가 아니라 사람이 채점할 수밖에 없기 때문이다.
한 네티즌은 토익스피킹 시험 자유게시판에 “어떤 채점관은 점수를 후하게 주고, 어떤 채점관은 점수를 짜게 준다고 들었다”며 “어느 시험장이 좋으냐”는 질문을 올려놓았다. 한 응시자는 시험 후기(後記)에 “채점관이 모든 내용을 듣고 채점하는 것 같지는 않다”며 “한국에서만 응시자가 수만 명이라 일일이 못 들을 것”이라고 했다.
이 외에도 “문제를 못 들었을 때, 문제와 관계없이 아무 말이라도 하면 부분점수는 받을 수 있다”는 등의 확인되지 않은 소문도 무성하다. 《월간조선》은 도대체 채점을 어떻게 하는 것이며, 갖가지 소문은 어디까지가 사실인지를 알기 위해 마침 한국을 찾은 토익스피킹 시험 수석개발자(Assessment Director) 수잔 하인스(Susan Hines) 씨를 만나보았다.
토익스피킹 시험은 컴퓨터를 활용하여 진행한다. 시험문제가 나오면 응시자가 마이크에 대답하는 형식이다. 응시자의 답변은 녹음파일로 저장되어 채점자에게 전달된다. 시험은 11문제이며, 사진을 묘사하거나 의견을 말하는 등 크게 6가지 유형이 있다. 원점수는 200점 만점, 등급은 원점수에 따라 최저 1급에서 최고 8급으로 나뉜다.
—채점은 어떤 과정을 통해 이루어집니까?
“응시자들의 답변은 1번부터 11번까지 11개의 녹음파일로 각각 저장되어 ETS(Educational Testing Service·교육평가원) 본사로 전송됩니다. 전 세계의 답변이 한곳에 모이죠. 전송된 답변들은 1번 문제는 1번 문제끼리, 11번 문제는 11번 문제끼리 분류돼서 무작위로 채점관들에게 분배됩니다. 채점자가 한국 사람의 답변을 한 번 채점했다면, 다음은 중동 사람의 답변을 채점할 수도 있죠.
평균 여섯 명의 채점관이 한 사람의 답안을 채점합니다. 여섯 명이 11문제 전부를 채점해서 평균을 내는 건 아닙니다. 각자 다른 문제를 채점하죠. 최소 세 명에서 최대 열한 명이 참여합니다.”채점관들은 응시자들의 신상에 대해 알지 못하고, 채점할 문항번호도 날마다 바뀐다고 한다. 채점관들의 선입견(先入見)을 배제하기 위한 결정이라는 설명이다.
—채점관도 사람인 이상 부정확한 채점 결과를 내놓을 수 있는데, 그걸 막을 대책이 있나요?
“채점관도 채점 당일 칼리브레이션테스트(Calibration Test)라는 시험을 봅니다. 시험 개발자들이 미리 채점해 놓은 답변들을 다시 채점하는 시험이죠. 이때 개발자와 똑같이 채점해야 통과합니다. 시험에 탈락하면 채점에 참여할 수 없어요. 아침과 오후, 하루 두 번 시험을 칩니다.”
—채점관을 뽑는 기준에 대해서 알고 싶습니다. 누가 채점관이 되는 건가요?
“대졸 이상의 학력과 ETS에서 제시하는 언어능력자격증이 있으면 됩니다. 추가로 영어교육경력이 있으면 유리합니다. 그래서 채점관들은 주로 전·현직 교사들이죠.”
토익스피킹 시험 채점관은 ETS 정직원이 아니라 계약직이다. 부업(副業) 개념이다. 채점관이 되면 정해진 일정에 따라 채점이 있는 날 출근해서 채점한다. 미국과 캐나다에 거주하는 사람만을 뽑으며, 영어가 모국어인지와 인종 등은 따지지 않는다. 그의 말이다.
“영어가 모국어인 사람만을 뽑는 것은 ETS의 이념과 맞지 않아요. 그렇게 되면 영어권 사람만이 수준 높은 영어를 할 수 있다는 뜻이니까요. 모국어가 영어가 아닌 사람도 얼마든지 수준 높은 영어를 할 수 있어요. 자격만 갖춘다면 누구나 채점관에 지원할 수 있습니다.”
“응시자 몰린다고 채점 대충 안 해. 오히려 응시자 적을 때가 문제”
 |
| 토익스피킹 시험은 마이크가 달린 헤드셋을 착용하고 진행한다. |
“CSL(Contents Scoring Leader)이라는 선임 채점관이 채점팀을 이끌어요. 1년간 정확한 채점실적을 보여준 사람들이죠. CSL은 다른 채점관들이 채점하기 어려운 답변들을 채점하고, 본인도 채점하기 애매할 경우 개발자에게 직접 채점을 의뢰합니다. 1년에 300일 이상 채점을 하는데, 제 경우엔 일주일에 두 번 정도 연락을 받아요.”
토익스피킹 개발자들은 실시간으로 채점 상황을 모니터링한다. 채점 속도가 너무 빠르지는 않은지, 채점 속도가 느리다면 무엇이 원인인지 파악하기 위해서이다. 채점관, CSL, 개발자로 이어지는 핫라인이 구축되어 있다.
—한국의 봄·가을 채용시즌처럼 응시자가 몰릴 때는 어떻게 대응합니까? 응시자들이 “그 많은 답안을 일일이 채점하는 것이 가능하냐. 몇 개의 답변만 들어보고 점수를 매기는 것 아니냐”고 우려하고 있습니다.
“채점관이 많기 때문에 응시자가 몰리는 성수기는 걱정하지 않아요. 오히려 응시자가 적어 채점관들에게 일을 나눠주지 못할 때가 문제예요. 힘들게 채점관 자격을 얻었는데, 일이 없다면 누가 채점관을 하려고 하겠어요. ‘응시자가 몰려서 채점을 대충한다’는 말은 전혀 사실이 아닙니다. 우리는 잠재적 수요를 파악하고 미리 대비합니다. 예를 들어, 올해 상반기에 한국의 모 대기업이 2만3천여 명을 고용한다고 발표하면 미리 준비하는 식이죠. 국가마다 채용시즌이 달라 응시자가 몰리는 시기도 다릅니다. 유동적인 응시자 수에 대응하기 위해 최선을 다하고 있어요. 정말로 채점자가 부족할 때는 제가 직접 채점하기도 해요.”
—답변준비 시간이 짧다는 것에 대해서는 어떻게 생각합니까. 특히 마지막 11번 문항은 60초 동안 답변해야 하는데 준비시간은 15초밖에 되지 않아 어려움이 많습니다. 영어권 국가에서 살다 온 사람들도 짧은 답변준비 시간 때문에 적잖이 당황한다는데요.
“실생활을 최대한 반영하려고 했어요. ‘오늘 점심 뭐 먹었니’라고 물었는데 ‘나는 그 질문에 대한 답변을 준비하기 위해 약 15초가 필요해’라고 말하는 사람 보셨나요? 실생활에서는 있을 수 없는 일이죠. 토익스피킹 시험은 글로벌비즈니스 활동을 위한 의사소통능력을 측정하기 위해 만든 거예요. 실생활이 반영되지 않으면 의미가 없어요.”
“심층인터뷰가 오히려 객관성에 문제”
토익스피킹 시험의 답변시간을 모두 더하면 6분이다. 단 6분으로 응시자의 전반적인 영어 말하기 실력을 평가할 수 있을까. 수잔은 “11문제는 부족하다는 의견이 있다. 문항 수를 늘릴 계획은 없느냐”고 묻자 잘라 대답했다.
“저는 현재 11문항이 충분하다고 자신합니다. 개발 당시 19문항으로 시험을 치렀어요. 한국, 프랑스, 일본에서 2500명의 응시자를 대상으로 데이터를 모았습니다. 응답 수만 5000개에 달합니다. 모두 면밀히 분석했어요. 분석결과를 토대로 10문항으로 시험을 구성했고, 테스트를 거쳐 한 문제를 추가했어요. 토익스피킹 시험의 답변시간을 다 더하면 6분입니다. 토플(TOEFL)도 마찬가지죠. ETS는 6분이면 응시자의 영어회화 실력을 충분히 평가할 수 있다고 결론 내렸습니다.
또 질문을 추가할 때마다 응시료가 오를 수밖에 없어요. 부담은 고스란히 응시자에게 돌아가죠. 응시자의 피로가 쌓이는 것도 문제입니다. 응시자의 영어 실력을 충분히 반영하면서 응시료 부담, 응시자의 피로를 최소화하기 위한 접점이 현재의 11문항, 6분입니다.”
—면대면 심층 인터뷰 방식을 고려해 본 적은 없습니까? 조금 비싸더라도 일대일 인터뷰 방식이 있었으면 좋겠는데요.
“ETS는 과거 LIP(Language Proficiency Index) 시험을 운영했었습니다. 면대면 인터뷰 방식이었죠. 당시 후광효과(後光效果·Halo Effect) 때문에 채점의 객관성에 문제가 있었습니다. 응시자의 첫인상, 첫마디가 전체 성적에 영향을 준다는 것을 발견했죠. 또 채점관 본인도 모르게 현재 응시자와 이전 응시자를 비교하게 되는 것도 문제였어요.”
면대면 인터뷰 시험은 질문과 채점이 동시에 이루어지기 때문에 채점관이 피로해지기 쉽다. 비용도 비싸다. 응시자마다 질문의 순서도 달라질 수 있다. 수많은 응시자를 동일한 조건에서 평가하기 위해 문제 단위로 채점할 수밖에 없었다는 설명이다.
潘基文 유엔사무총장의 영어 실력
 |
| 반기문 유엔사무총장과 가수 싸이가 미국 뉴욕의 유엔 주재 한국 대표부에서 열린 2013년 신년 하례식에서 손을 잡고 인사를 나누고 있다. |
“딱 봐도 한국 사람인지 알아챌 수 있는 발음상의 특징이 있어요. 반기문 유엔사무총장도 예외가 아닙니다. 상당히 강한 한국 억양을 사용하죠. 하지만 모든 사람이 그분의 말을 알아들을 수 있어요. 싸이도 마찬가지죠. 무리 없이 의사소통합니다. 억양은 채점대상이 아니에요. 말만 통하면 됩니다.
반기문 유엔사무총장은 완벽하지는 않아도 목적에 충분히 부합하는 영어를 합니다. 상당히 높은 수준의 영어를 구사해요. 저는 본토 발음을 배우겠다며 고유한 억양을 버려야 한다는 말에 동의하지 않아요. 몇 가지 발음만 주의하시고, 본인의 억양은 간직하세요.”
그녀는 “억양은 자신이 누구인가를 알려주는 것”이라며 “본인의 고유한 억양을 절대로 잃어버리지 말라”고 가르친다. 억양에는 언어실력 이외에도 다양한 정보가 담겨 있기 때문에 억양이 바뀌는 순간 자신에 대한 주변 사람들의 기대, 평가가 바뀌게 된다.
만약 반기문 유엔사무총장이 완벽한 미국식 억양을 가지고 있었다면, 반 총장을 처음 본 사람들은 그를 아시아계 미국인 정도로 생각했을 것이다.
수잔 하인스는 한국계 미국인이다. 검은 머리 검은 눈의 전형적인 한국인 얼굴이다. 수잔은 한국에서 태어나 다섯 살 때 미국으로 입양되었다. 늦은 나이에 미국으로 건너가 미국의 언어와 문화를 배우던 과정을 상당부분 기억하고 있다.
어릴 적부터 문화와 언어교류에 관심이 많았고, 대학시절 유학생들에게 영어를 가르치며 영어교육에 흥미를 느꼈다고 한다. 이후 러시아, 멕시코 등지에서 영어를 가르치며 교육학 석사학위를 취득했다. 현재 10년 가까이 ETS 연구원으로 일하고 있다.
—토익스피킹 수석개발자가 한국계 미국인이라는 사실이 놀랍습니다.
“한국이 남다르게 느껴지는 건 어쩔 수 없네요. 한국의 문화와 언어가 친숙하게 느껴집니다. 지난 6년간 한국을 여러 번 방문할 수 있어서 좋았어요. 특히 한국 음식을 좋아해서 미국에서도 한국 음식을 많이 먹는 편이에요. 가족들은 제가 김치를 먹는 것을 보고 놀라요.”
점수 환산 방식은 ‘영업기밀’
 |
| 토익스피킹 개발자 수잔 하인스가 3월 25일 대전대학교에서 학생들을 대상으로 토익스피킹 시험에 대한 강연을 하고 있다. |
“10번과 11번 문제는 5점 척도(0~5점), 나머지 문제는 3점 척도(0~3점)로 채점해서 각각 원점수를 냅니다. 이 점수를 심리통계부서(Psychometric Department)에서 200점 만점으로 환산하죠. 환산하는 원리는 기밀이라 밝힐 수 없습니다.”
그녀는 “점수환산 원리(原理)를 밝힐 순 없지만 ‘응시자가 얼마나 잘했는가’에 대한 절대적인 평가는 변하지 않는다”고 거듭 강조했다.
—토익도 그렇지만 피드백(Feedback)에 대한 불만이 많습니다. 현재 원점수와 등급만 제공하는데, 응시자들에게 적극적으로 시험 정보를 제공할 계획은 없습니까? 예를 들어, “발음이 부정확하다”, “유창성(流暢性)이 떨어진다”처럼 말이죠.
“기술적으론 가능합니다. 시간과 돈이 문제예요. 개인적인 피드백을 제공하려면 시간이 오래 걸리는데, 응시자들은 언제나 빠른 성적공개를 원해요. 또 전문적인 피드백을 제공할 수 있도록 채점관들 훈련하려면 추가비용이 들어요. 응시료가 올라가게 되죠. 만약 개별적인 피드백에 대한 수요가 생긴다면 추가비용을 내고 피드백을 신청하는 서비스를 출시할 수는 있겠죠.”
—한국의 토익스피킹 시험 응시인원이 눈에 띄게 늘었습니다. 세계적인 추세와 비교하면 어떤가요?
“세계로 진출하는 한국 기업이 많아요. 한국의 토익스피킹 응시자 수가 늘어난 건 자연스런 일이죠. 그런데 한국에서만 응시자 수가 급격히 늘어난 건 아닙니다. 중동과 아프리카에서도 크게 늘었죠. 주로 유럽으로 취업이나 이민, 유학을 가기 위해 응시합니다. 한국만 응시인원이 많이 늘어난 건 아니에요.”
한국 응시자들은 W, B・P, F・V 발음에 약해
—한국의 토익스피킹 성적은 높은 편입니까?
“아직 섣불리 말할 수 없어요. 데이터를 좀 더 모아야 확실히 말할 수 있어요. 굳이 말하자면 한국 응시자들의 평균실력은 중급수준(Intermediate level)입니다.”
수잔 하인스 수석개발자는 4, 5, 6급을 중급수준으로 봤다. 4급은 중하급(Low Intermediate Level), 6급은 중상급(High Intermediate Level) 수준이다. 6등급은 상대방의 말을 대부분 알아들을 수 있고, 경우에 따라 단어나 짧은 문장으로 대답까지 할 수 있다. 지속적으로 대화를 이어가거나 의견을 말하기에는 부족하다. 그녀는 지속적인 의사소통을 하려면 최소 7급 이상이 필요하다고 했다.
—채점기준으로 발음, 유창성, 내용 등이 있었습니다. 한국 응시자들이 특히 약한 부분이 있나요?
“한국인은 발음이 약해요. 특히 ‘W’ 발음과 양순음(兩脣音) ‘B’, ‘P’, 순치음(脣齒音) ‘F’, ‘V’ 등 자음이 약합니다. 한국인이 ‘Free Food’를 읽으면 우리에겐 ‘Hree Hood’로 들리죠. 더 노력해야 할 부분이라고 생각해요. 하지만 영어에서 발음은 의사소통 과정의 일부에 불과해요. ‘잘 지내느냐(How are you doing?)’고 물었는데, ‘아홉 시야(It's 9 o'clock)’라고 (동문서답식으로) 대답하는 건 아무리 발음이 좋아도 의미가 없어요. 토익스피킹도 마찬가지예요. 질문에 적절하게 대답하는 것이 가장 중요합니다. 발음은 그다음이에요.”
—그렇다면 “문제를 듣지 못했을 경우 아무 말이라도 하면 발음과 유창성을 인정받아 부분점수는 받을 수 있다”는 소문도 틀린 말인가요?
“점수를 주는 기준은 세 가지예요. ‘정확히 대답할 수 있다’, ‘어느 정도 대답할 수 있다’, ‘대답할 줄 모른다’입니다. 발음, 유창성 등은 부차적인 문제죠. 내용 자체가 동문서답이라면 다른 항목들은 채점할 필요도 없습니다. 응시자용 수험가이드에 굵은 글씨로 표시된 항목이 문제의 본질을 가장 잘 반영하는 채점기준입니다.”
토익스피킹 속성학원은 연구대상
—이전 어느 인터뷰에서 “학원에 등록하면 강사에게 양질(良質)의 개인지도를 받을 수 있다”고 했습니다. 한국에는 학생 수가 80명도 넘는 대형 토익스피킹 강의가 많은데, 이런 환경에서도 강사로부터 개인지도를 받을 수 있을까요.
“물론입니다. 캔자스 대학에서 실용영어를 가르칠 때 학생 수가 75명이었어요. 열 살 꼬마부터 75세 어르신까지 연령대도 다양했죠. 그때도 가능했습니다. 비록 수강생 모두가 매일 개인지도를 받을 순 없지만, 노력하는 강사라면 수강기간 동안 최소 두세 번은 개인지도를 해줄 수 있다고 봅니다. 배우는 사람 역시 의지와 책임감을 가지고 수업에 임해야 합니다. 부족한 부분이 있으면 선생님께 상담요청을 해야 합니다.”
—취업난이 심각하고 학생들은 영어성적 이외에도 준비할 것이 많습니다. 한국에는 토익스피킹 2개월 과정이 많고, 2주 만에 7급을 목표로 하는 속성반도 있습니다. 6급이나 7급을 취득한 이후 영어회화를 뒤로하고 다른 스펙을 쌓는 사람도 있는데요, 기업 입장에선 “토익스피킹 7급인데 정작 말을 못한다. 토익스피킹의 신뢰도에 문제가 있다”고 주장할 수 있을 것 같습니다.
“기업 인사팀에게 구직자들의 토익스피킹 점수에 공감하지 못하겠다는 의견을 간혹 듣습니다. 단기간에 5급에서 7급으로 뛰어오르는 사례가 간혹 있기 때문에 우리도 인정할 수밖에 없어요. 그때마다 해당 응시자를 찾아서 연구하고 싶어요. 아웃라이어(outlier·비범한 사람)의 존재를 인정해야 합니다. 하지만 통계상 극히 드물어서 일반화하기는 어려워요. 사례를 수집하며 연구해 볼 필요가 있다고 봅니다.”
—토익스피킹은 문제유형이 정해져 있다고 합니다. 회(回)마다 문제가 비슷해서 정해진 문장 수십 개만 외워가면 손쉽게 고득점을 할 수 있다는 의견도 있는데요.
“‘같은 문제 반복출제 금지’가 ETS의 방침입니다. 유형이 정해져 있는 것과 같은 문제가 반복적으로 나오는 것은 다릅니다. 토익스피킹은 응시자가 얼마나 많은 문장을 외웠는지 측정하는 시험이 아니에요. 만일 그랬다면 누구나 손쉽게 고득점을 받았을 겁니다. 그런데 6년간의 데이터를 보면 평균점수의 변화를 찾아볼 수 없어요. 문제유형을 정해놓은 것은 응시자들이 동등한 환경에서 시험을 볼 수 있게 하려는 것이지 문장을 외워오라는 것이 아니에요.”
—토익스피킹 시험이 대중화되면서 응시자들의 수준이 높아지고 있다는 의견도 있습니다. 동의할 수 있는 얘긴가요.
“우선 평균점수가 오르는 것을 보고 싶어요. 영어교육자이자 시험 개발자로서 정말 바라는 일이죠. 그런데 토익스피킹이 나온 지 7년이 다 된 지금까지 평균점수의 변화는 거의 없었어요. 상당히 안정적이었죠. 5년 뒤, 10년 뒤는 모르겠지만 지금 당장은 시험을 새로 설계해야 할 만큼 점수의 상향평준화는 이뤄지지 않았어요.”
—그렇다면 “체감난이도가 상당히 올랐다”는 말도 전혀 근거 없는 주장일까요?
“시험설계도 건축과 비슷합니다. 평가목표가 담긴 청사진이 있죠. 우리는 7년 동안 청사진을 바꾸지 않았어요. 시험난이도를 마음대로 조정하면 형평성에 어긋납니다. 작년에 시험을 친 사람과 올해에 시험을 친 사람이 같은 회사에 지원한다고 생각해 보세요. 성적을 동등하게 비교할 수 없게 되죠. 5년 전에 친 시험과 올해 친 시험은 난이도가 동일합니다.”⊙
