⊙ 기존의 구문(句文) 기반 자동번역은 문장을 명사구, 부사구, 동사구로 쪼갠 뒤 번역 가능 후보군을
고른 후에 확률을 따지다 보니 오류 많아
⊙ 인공신경망 이용한 번역 시스템은 언어 자료 쌓일수록 번역 정확도 높아져
⊙ 중간언어 없이 번역할 수 있는 제로샷(zero shot)이라는 신기술 개발
이충국
1963년생. 연세대 교육대학원 교육학 석사 / 생각하는 수학교실(CMS에듀의 전신) 설립,
세계수학올림피아드 WMO (World Mathematical Olympiad) 부위원장, CMS에듀 대표이사(2003.7~) /
《초등학생이 반드시 알아야 할 똑똑한 수학 공부법》 《엄마도 꼭 알아야 할 똑똑한 수학 공부법》
《잠자는 수학 두뇌를 깨우는 창의사고 수학》 출간
고른 후에 확률을 따지다 보니 오류 많아
⊙ 인공신경망 이용한 번역 시스템은 언어 자료 쌓일수록 번역 정확도 높아져
⊙ 중간언어 없이 번역할 수 있는 제로샷(zero shot)이라는 신기술 개발
이충국
1963년생. 연세대 교육대학원 교육학 석사 / 생각하는 수학교실(CMS에듀의 전신) 설립,
세계수학올림피아드 WMO (World Mathematical Olympiad) 부위원장, CMS에듀 대표이사(2003.7~) /
《초등학생이 반드시 알아야 할 똑똑한 수학 공부법》 《엄마도 꼭 알아야 할 똑똑한 수학 공부법》
《잠자는 수학 두뇌를 깨우는 창의사고 수학》 출간
- 한국전자통신연구원(ETRI)에서는 강연이나 대화 전체를 실시간으로 통역해 주는 인공지능 동시통역기를 개발했다.
〈온 세상이 같은 말과 글자로 소통하던 때가 있었다. 사람들은 한곳에 모여 탑을 건설하기로 했다. 하늘까지 닿는 탑을 세워 자신들의 이름을 날리고 서로 뿔뿔이 흩어지는 것을 막고자 하였다. 이것을 본 신은 인간이 하고자 하는 것은 무엇이든 못할 것이 없다고 판단하고 탑을 짓는 것은 인간의 오만함을 드러내는 상징이라고 여겼다. 그리하여 인간의 말을 뒤섞고, 서로의 말을 알아듣지 못하게 만들어 버렸다. 결국 사람들은 탑을 완성하지 못하고 온 세상으로 흩어졌다.〉
성경에 나오는 바벨탑 이야기는 신을 저버린 인간사회를 상징하기도 하지만 세계 여러 민족이 언어를 중심으로 독자적인 문화권을 형성하게 된 배경을 이야기할 때 종종 등장한다.
현재 지구상에는 2500여 개의 언어가 존재하는 것으로 추정된다. 교통·통신의 발달로 지역 간 경계가 허물어지고, ‘지구촌’이라고 할 만큼 서로 밀접한 관계를 이루고 살고 있지만, 아직까지도 언어장벽으로 인해 자유로운 의사소통에는 한계가 있다. 특히 글로벌 정치·경제 분야에서는 각자의 이해관계에 따라 단어 하나 혹은 작은 문구로 인해 전체의 내용을 완전히 다르게 해석할 수 있기 때문에 문맥과 뉘앙스까지 고려하여 이해해야 한다.
EU, 번역에 매년 11억 유로 이상 지출
통·번역의 문제는 국가 경쟁력에도 큰 영향을 미치기 때문에 각국이나 단체에서는 통·번역 관련 연구·개발에 많은 투자를 하고 있다. 유럽연합(EU)에서는 기관의 모든 결정문을 24개의 공식 언어로 번역하는 등 다(多)언어주의 정책을 유지하는 데 매년 11억 유로 이상을 지출하고 있다. 이는 EU 연간 예산의 1%에 해당하는 적지 않은 비용이다. 이 때문에 유럽연합 연구개발지원사업 중 통역기술 개발 프로젝트는 상당한 우선순위를 차지하고 있다. 미국도 글로벌 마켓의 중심으로 떠오른 중국이나 테러와 전쟁의 중심이 되고 있는 여러 아랍 국가들을 상대하기 위해 중국어·아랍어 변환을 위한 기술 개발에 많은 투자를 하고 있다.
세계 최초의 자동통역은 카네기멜론 대학과 일본의 정보통신 연구기관인 ATR, 독일 지멘스(Siemens)가 개발한 ‘자동통역 시연 시스템’이다. 이는 자동통역을 연구하는 기관과 대학이 범국가적으로 연합한 C-STAR(Consortium for Speech Translation Advanced Research) 프로젝트의 일환이다. 이 시스템은 개발된 단어를 제한적으로 사용할 수밖에 없고, 정해진 형식의 문장만을 인식한다는 점에서 많은 한계가 있었지만, 현재의 자동통역 기술 개발의 발판이 되었다. 이후 꾸준한 기술 개발로 2000년대 초반에는 영어를 40여 개의 언어로 통역이 가능한 기계가 발명되었다. 하지만 여전히 정해진 몇몇 문장만 음성인식이 가능하고 통역 결과 역시 제한된 문장 내에서만 통역할 수 있었다.
불과 1년 전만 하더라도 인터넷 번역기를 돌리면 어색하고 문맥에 맞지 않는 결과가 나왔다. ‘육회(肉膾)’를 ‘six times’로, ‘눈(eye)’을 ‘눈(snow)’으로 번역하는 등 동음이의어(同音異義語)의 번역 오류가 비일비재했다.
‘엉터리 번역의 원인은?’
문장을 제대로 번역하기 위해서는 문장 전체를 읽고 의미를 파악해야 하는데 예전의 번역은 구(句) 단위로 쪼개어 해석했다. 이것을 ‘구문(句文)기반 통계번역’ 혹은 ‘통계적 기계번역(SMT : Staticstical Machine Translation)’이라고 부른다. 이는 각 구마다의 번역과 구문들끼리의 조합의 확률을 계산하여 최종적으로 확률이 높은 문장을 택하는 방식이다. 구문기반 통계 번역의 예를 살펴보자.〈표1〉
한국어를 영어로 번역할 때는 먼저 명사구, 부사구, 동사구로 쪼개고 번역 가능 후보군을 고른 뒤 확률을 따진다. 기존의 번역 데이터로 사용 빈도에 따른 통계를 내고 ‘눈’에 대해서 ‘snow’와 ‘eye’ 중 확률이 높은 결과를 택한다. 또한 각 구에 대해서도 후보를 뽑은 뒤 조합할 확률을 구한다. 문장 구조가 같은 한국어와 일본어의 번역보다 한국어와 영어처럼 문장의 구조가 다를 경우, 오류가 생길 가능성이 높아진다.
통·번역의 오류를 줄이기 위해 구문기반이 아닌 문장 단위의 번역이 시도되었으나 같은 양의 번역에 대해 오히려 더 많은 시간이 요구되었다. 왜냐하면 번역 단위가 문장이 될 경우, 컴퓨터는 구 단위로 해석을 한 뒤, 구와 구 간의 유기적 관계에 대해 다시 계산해야 하기 때문이다. 이것을 해결한 것이 인공신경망(ANN, artificial neural network)이다.
두뇌의 정보처리 과정을 모방한 인공신경망
인공신경망은 정보처리 과정에 있어서 인간의 두뇌가 경험을 통해 패턴을 인식하는 알고리즘을 모방한 것이다. 인간의 두뇌는 외부의 자극에 대해 기본 조직인 뉴런(neuron)을 통해 전기적·화학적 신호가 전달되면서 감각과 운동, 사고 등의 생명활동을 위한 정보처리를 한다. 예를 들어 사람이 눈을 통해 사물을 인식할 때 두뇌에서는 영상정보 처리를 위해 주위 환경이나 여러 사물 간의 상호작용을 종합적으로 해석하여 사물을 인식한다. 이런 알고리즘을 적용시킨 것이 인공신경망이다.
인공신경망은 시스템 내에서 네트워크를 형성한 뉴런이 학습을 통해 연결강도를 변화시켜 문제해결 능력을 가지는 수학 모델이며 함수 f:X→Y에서 X와 Y에 대한 분포를 정의한다. 인공신경망은 입력된 다양한 데이터들을 통해 학습이 이루어지면서 함수를 형성하고, 해결하고자 하는 문제에 대한 근사치를 찾아내는 경우 주로 사용되고 있다.
인공신경망의 장점으로는 학습을 통해 과제를 최적화한 방법으로 해결할 수 있는 함수를 만들어 갈 수 있고 관찰된 데이터로부터 학습하여 원하는 근사 함수를 만들 수 있다는 점이다. 인공신경망을 활용하는 대표적인 분야로 암 진단을 들 수 있다. 많은 환자의 데이터로부터 특정 모델을 만들고 그 모델과 환자를 비교하여 암을 진단한다. 이외에도 주가지수 예측, 기업 신용평가, 환율예측 등 다양한 분야에서 인공신경망을 이용한다.
인공신경망을 이용하면 문장 단위의 번역도 짧은 시간에 해결할 수 있다. 인공신경망을 이용한 번역 시스템(NMT : Neural Machine Translation)은 영어 문장 X에 맞는 한국어 문장 Y를 나타내는 Y=f(X)라는 함수를 만들고 사용자가 수많은 (X,Y)쌍을 학습시켜 최적화한 함수 f를 만든다.
번역을 위한 중간언어
인공신경망을 이용한 번역 시스템은 기계학습을 이용해서 번역의 근간이 되는 방대한 언어 자료(corpus)를 기반으로 번역을 한다. 이 언어 자료가 많이 쌓일수록 번역의 정확도는 높아진다. 따라서 일본어가 한국어보다 세계적으로 사용빈도 수가 더 높기 때문에 한국어-영어 번역보다 일본어-영어 번역의 정확도가 더 높다. 이런 이유로 한국어를 영어로 번역할 때에 직접 번역보다는 한국어를 일본어로 번역한 후 일본어를 영어로 번역을 하는 경우도 많다. 이것은 영어와 일본어 번역의 언어자료가 많고, 한국어와 일본어는 어순이 비슷하여 번역률이 높기 때문이다. 그래서 한국어-영어의 정교한 번역이 필요할 때는 중간언어로 일본어를 사용하기도 한다.
중간언어를 활용한 번역은 이미 17세기의 수학자이자 철학자였던 라이프니츠와 데카르트가 시도한 바 있다. 그들은 전 세계 모든 언어를 중간언어를 거쳐 번역하고 싶어했다. 그래서 이들은 숫자를 이용해 모든 언어를 번역할 수 있는 사전을 만드는 방법을 처음으로 제시하였다. 이 아이디어를 발전시켜 1970년대 미국의 컴퓨터학자 윌크스는 중간언어를 활용한 자동번역 시스템을 최초로 만들었다.
중간언어로 주로 많이 사용되는 것은 영어이다. 상대적으로 데이터가 많은 영어를 중간언어로 사용하여 다양한 언어들을 번역한다.
인공신경망으로 더 정확해지는 번역
최근에는 중간언어 없이 번역할 수 있는 제로샷(zero shot)이라는 신기술이 개발되었다. 예를 들어, 영어-한국어, 영어-중국어 쌍을 각각 번역할 수 있는 언어 자료가 구축되어 있을 경우 한국어-중국어에 대해서 기계학습을 통한 학습과정을 거치지 않아도 번역이 가능해진다. 다양한 언어를 학습하면서 정확도도 높이고 직접 학습하지 않은 언어도 중간언어를 매개로 번역할 수 있는 것이다.
인공신경망은 기계학습을 통해 축적된 언어자료들을 공간 위의 한 점으로 표시한다. 컴퓨터는 단어들 간에 함께 사용되는 빈도가 높을수록 공간에서 가까이 배치하고 함께 사용되는 빈도가 낮으면 멀리 배치한다. 이렇게 배치된 점들 간의 거리를 계산하여 단어 간의 의미관계를 파악하여 번역한다. 공간에 산재된 단어들은 여러 단계의 인코딩 과정을 거쳐 점점 줄어들다가 결국에는 하나의 점이 된다. 같은 방식으로 문장 역시 하나의 점으로 표시된다. 이런 방식을 이용하여 인공신경망은 문장 하나를 번역 단위로 사용한다.
멀지 않은 미래에는 따로 영어나 중국어를 배우지 않아도 되는 날이 올지도 모른다. 그렇다면 동물이나 원시 부족, 더 나아가 외계인과의 소통도 가능할까? 인공신경망을 이용한다면 그리고 대화 상대와의 언어 데이터만 충분하다면 그 어떤 대상과도 의사소통이 가능한 시대가 열릴 수도 있을 것이다.⊙
성경에 나오는 바벨탑 이야기는 신을 저버린 인간사회를 상징하기도 하지만 세계 여러 민족이 언어를 중심으로 독자적인 문화권을 형성하게 된 배경을 이야기할 때 종종 등장한다.
현재 지구상에는 2500여 개의 언어가 존재하는 것으로 추정된다. 교통·통신의 발달로 지역 간 경계가 허물어지고, ‘지구촌’이라고 할 만큼 서로 밀접한 관계를 이루고 살고 있지만, 아직까지도 언어장벽으로 인해 자유로운 의사소통에는 한계가 있다. 특히 글로벌 정치·경제 분야에서는 각자의 이해관계에 따라 단어 하나 혹은 작은 문구로 인해 전체의 내용을 완전히 다르게 해석할 수 있기 때문에 문맥과 뉘앙스까지 고려하여 이해해야 한다.
EU, 번역에 매년 11억 유로 이상 지출
통·번역의 문제는 국가 경쟁력에도 큰 영향을 미치기 때문에 각국이나 단체에서는 통·번역 관련 연구·개발에 많은 투자를 하고 있다. 유럽연합(EU)에서는 기관의 모든 결정문을 24개의 공식 언어로 번역하는 등 다(多)언어주의 정책을 유지하는 데 매년 11억 유로 이상을 지출하고 있다. 이는 EU 연간 예산의 1%에 해당하는 적지 않은 비용이다. 이 때문에 유럽연합 연구개발지원사업 중 통역기술 개발 프로젝트는 상당한 우선순위를 차지하고 있다. 미국도 글로벌 마켓의 중심으로 떠오른 중국이나 테러와 전쟁의 중심이 되고 있는 여러 아랍 국가들을 상대하기 위해 중국어·아랍어 변환을 위한 기술 개발에 많은 투자를 하고 있다.
세계 최초의 자동통역은 카네기멜론 대학과 일본의 정보통신 연구기관인 ATR, 독일 지멘스(Siemens)가 개발한 ‘자동통역 시연 시스템’이다. 이는 자동통역을 연구하는 기관과 대학이 범국가적으로 연합한 C-STAR(Consortium for Speech Translation Advanced Research) 프로젝트의 일환이다. 이 시스템은 개발된 단어를 제한적으로 사용할 수밖에 없고, 정해진 형식의 문장만을 인식한다는 점에서 많은 한계가 있었지만, 현재의 자동통역 기술 개발의 발판이 되었다. 이후 꾸준한 기술 개발로 2000년대 초반에는 영어를 40여 개의 언어로 통역이 가능한 기계가 발명되었다. 하지만 여전히 정해진 몇몇 문장만 음성인식이 가능하고 통역 결과 역시 제한된 문장 내에서만 통역할 수 있었다.
불과 1년 전만 하더라도 인터넷 번역기를 돌리면 어색하고 문맥에 맞지 않는 결과가 나왔다. ‘육회(肉膾)’를 ‘six times’로, ‘눈(eye)’을 ‘눈(snow)’으로 번역하는 등 동음이의어(同音異義語)의 번역 오류가 비일비재했다.
‘엉터리 번역의 원인은?’
문장을 제대로 번역하기 위해서는 문장 전체를 읽고 의미를 파악해야 하는데 예전의 번역은 구(句) 단위로 쪼개어 해석했다. 이것을 ‘구문(句文)기반 통계번역’ 혹은 ‘통계적 기계번역(SMT : Staticstical Machine Translation)’이라고 부른다. 이는 각 구마다의 번역과 구문들끼리의 조합의 확률을 계산하여 최종적으로 확률이 높은 문장을 택하는 방식이다. 구문기반 통계 번역의 예를 살펴보자.〈표1〉
한국어를 영어로 번역할 때는 먼저 명사구, 부사구, 동사구로 쪼개고 번역 가능 후보군을 고른 뒤 확률을 따진다. 기존의 번역 데이터로 사용 빈도에 따른 통계를 내고 ‘눈’에 대해서 ‘snow’와 ‘eye’ 중 확률이 높은 결과를 택한다. 또한 각 구에 대해서도 후보를 뽑은 뒤 조합할 확률을 구한다. 문장 구조가 같은 한국어와 일본어의 번역보다 한국어와 영어처럼 문장의 구조가 다를 경우, 오류가 생길 가능성이 높아진다.
통·번역의 오류를 줄이기 위해 구문기반이 아닌 문장 단위의 번역이 시도되었으나 같은 양의 번역에 대해 오히려 더 많은 시간이 요구되었다. 왜냐하면 번역 단위가 문장이 될 경우, 컴퓨터는 구 단위로 해석을 한 뒤, 구와 구 간의 유기적 관계에 대해 다시 계산해야 하기 때문이다. 이것을 해결한 것이 인공신경망(ANN, artificial neural network)이다.
두뇌의 정보처리 과정을 모방한 인공신경망
인공신경망은 정보처리 과정에 있어서 인간의 두뇌가 경험을 통해 패턴을 인식하는 알고리즘을 모방한 것이다. 인간의 두뇌는 외부의 자극에 대해 기본 조직인 뉴런(neuron)을 통해 전기적·화학적 신호가 전달되면서 감각과 운동, 사고 등의 생명활동을 위한 정보처리를 한다. 예를 들어 사람이 눈을 통해 사물을 인식할 때 두뇌에서는 영상정보 처리를 위해 주위 환경이나 여러 사물 간의 상호작용을 종합적으로 해석하여 사물을 인식한다. 이런 알고리즘을 적용시킨 것이 인공신경망이다.
인공신경망은 시스템 내에서 네트워크를 형성한 뉴런이 학습을 통해 연결강도를 변화시켜 문제해결 능력을 가지는 수학 모델이며 함수 f:X→Y에서 X와 Y에 대한 분포를 정의한다. 인공신경망은 입력된 다양한 데이터들을 통해 학습이 이루어지면서 함수를 형성하고, 해결하고자 하는 문제에 대한 근사치를 찾아내는 경우 주로 사용되고 있다.
인공신경망의 장점으로는 학습을 통해 과제를 최적화한 방법으로 해결할 수 있는 함수를 만들어 갈 수 있고 관찰된 데이터로부터 학습하여 원하는 근사 함수를 만들 수 있다는 점이다. 인공신경망을 활용하는 대표적인 분야로 암 진단을 들 수 있다. 많은 환자의 데이터로부터 특정 모델을 만들고 그 모델과 환자를 비교하여 암을 진단한다. 이외에도 주가지수 예측, 기업 신용평가, 환율예측 등 다양한 분야에서 인공신경망을 이용한다.
인공신경망을 이용하면 문장 단위의 번역도 짧은 시간에 해결할 수 있다. 인공신경망을 이용한 번역 시스템(NMT : Neural Machine Translation)은 영어 문장 X에 맞는 한국어 문장 Y를 나타내는 Y=f(X)라는 함수를 만들고 사용자가 수많은 (X,Y)쌍을 학습시켜 최적화한 함수 f를 만든다.
번역을 위한 중간언어
인공신경망을 이용한 번역 시스템은 기계학습을 이용해서 번역의 근간이 되는 방대한 언어 자료(corpus)를 기반으로 번역을 한다. 이 언어 자료가 많이 쌓일수록 번역의 정확도는 높아진다. 따라서 일본어가 한국어보다 세계적으로 사용빈도 수가 더 높기 때문에 한국어-영어 번역보다 일본어-영어 번역의 정확도가 더 높다. 이런 이유로 한국어를 영어로 번역할 때에 직접 번역보다는 한국어를 일본어로 번역한 후 일본어를 영어로 번역을 하는 경우도 많다. 이것은 영어와 일본어 번역의 언어자료가 많고, 한국어와 일본어는 어순이 비슷하여 번역률이 높기 때문이다. 그래서 한국어-영어의 정교한 번역이 필요할 때는 중간언어로 일본어를 사용하기도 한다.
중간언어를 활용한 번역은 이미 17세기의 수학자이자 철학자였던 라이프니츠와 데카르트가 시도한 바 있다. 그들은 전 세계 모든 언어를 중간언어를 거쳐 번역하고 싶어했다. 그래서 이들은 숫자를 이용해 모든 언어를 번역할 수 있는 사전을 만드는 방법을 처음으로 제시하였다. 이 아이디어를 발전시켜 1970년대 미국의 컴퓨터학자 윌크스는 중간언어를 활용한 자동번역 시스템을 최초로 만들었다.
중간언어로 주로 많이 사용되는 것은 영어이다. 상대적으로 데이터가 많은 영어를 중간언어로 사용하여 다양한 언어들을 번역한다.
인공신경망으로 더 정확해지는 번역
최근에는 중간언어 없이 번역할 수 있는 제로샷(zero shot)이라는 신기술이 개발되었다. 예를 들어, 영어-한국어, 영어-중국어 쌍을 각각 번역할 수 있는 언어 자료가 구축되어 있을 경우 한국어-중국어에 대해서 기계학습을 통한 학습과정을 거치지 않아도 번역이 가능해진다. 다양한 언어를 학습하면서 정확도도 높이고 직접 학습하지 않은 언어도 중간언어를 매개로 번역할 수 있는 것이다.
인공신경망은 기계학습을 통해 축적된 언어자료들을 공간 위의 한 점으로 표시한다. 컴퓨터는 단어들 간에 함께 사용되는 빈도가 높을수록 공간에서 가까이 배치하고 함께 사용되는 빈도가 낮으면 멀리 배치한다. 이렇게 배치된 점들 간의 거리를 계산하여 단어 간의 의미관계를 파악하여 번역한다. 공간에 산재된 단어들은 여러 단계의 인코딩 과정을 거쳐 점점 줄어들다가 결국에는 하나의 점이 된다. 같은 방식으로 문장 역시 하나의 점으로 표시된다. 이런 방식을 이용하여 인공신경망은 문장 하나를 번역 단위로 사용한다.
멀지 않은 미래에는 따로 영어나 중국어를 배우지 않아도 되는 날이 올지도 모른다. 그렇다면 동물이나 원시 부족, 더 나아가 외계인과의 소통도 가능할까? 인공신경망을 이용한다면 그리고 대화 상대와의 언어 데이터만 충분하다면 그 어떤 대상과도 의사소통이 가능한 시대가 열릴 수도 있을 것이다.⊙
