요즘 기계번역은 누구에게나 광범위하게 사용되고 있는데요. 번역기를 사용하면 여행갈 때 소통이 편리해지고, 모국어를 공유하지 않는 외국인 친구와 큰 어려움 없이 채팅을 나눌 수 있으며, 해외 사이트에서 언어 장벽 없이 직구를 할 수 있고, 또 영어를 읽는 데 서툴러도 영어 논문을 이해하는 데에도 크게 시간 절약을 할 수 있습니다. 저의 경우도 논문을 쓸 때 문법을 확인하거나 다양한 표현을 참고하기 위해 도움을 받을 때가 많습니다.

하지만 이렇게 발전한 기계번역은 여전히 한계가 많습니다. 단어 오역도 많고, 문법적으로 틀린 문장을 생성하기도 하며, 문장이 길거나 많아질수록 컨텍스트 정보를 잘 유지하지 못한다는 문제도 있습니다. 아래 몇가지 유명한 예시들을 보아도 아직까지는 번역기에 곧이곧대로 의지하기에는 리스크가 꽤 따른다는 것을 알 수 있죠.

신경망의 크기를 늘려 모델을 훈련시키는 것만으로는 해결하기 어려운 문제가 많아, 다양한 후처리 기술이나 여러 모델을 조합하여 결과물을 얻는 등의 시도가 이어지고 있습니다. 그런 노력 끝에 상대적으로 공적이고 딱딱한 어휘를 사용하는 뉴스나 논문의 기계번역 결과는 무리 없이 어느 정도는 이해할 수 있는 수준이 되었지만, 표현의 자유도가 높은 구어체나 인문학 분야의 글은 인간 번역사의 번역 품질을 따라가기엔 아직 한참 멀어 보입니다. (사실, 인간의 창의성이 많이 개입되어야 하는 후자의 경우 현재 회기모델 기반의 매커니즘이 아무리 발달해도 번역사의 번역 품질을 평생 따라잡을 수나 있을지 의문이긴 합니다.)

흥미로운 점은 요즘 번역학 종사자들이 기계번역의 도움을 받고 있다는 것이죠. 소스 언어 (번역할 언어)의 원문을 보고 번역사가 바로 번역하기 보다는, 기계번역이 타겟 언어 (번역된 언어)로 미리 번역한 결과물을 원문을 참고하여 수정할 때 무려 절반 가량의 시간이 단축된다고 합니다. 그래서 여러가지 이유로 번역학계에서도 기계번역 언어모델에 대한 관심이 늘어나고 있다고 하는데요. 비용을 크게 절감해주는 훌륭한 도구여서이기도 하지만, 번역사의 자리를 언젠가 위협할 존재로 인식하고 있기 때문이기도 합니다. 여러 한계에도 불구하고 기계번역의 퀄리티가 빠른 속도로 올라가고 있는 것은 사실이기 때문에, 번역사의 포지션이 언젠가 대체될 것이라는 불안감을 가지는 것입니다.

“기계번역이 번역사를 대체하게 될까? 그렇다면 얼만큼의 시간이 걸릴까?” 라는 질문에서 시작된 이번 포스팅 시리즈에서는 기계번역과 번역사의 번역 결과물의 사이의 갭에 대해 컴퓨터 공학자의 관점에서 이야기해보려고 합니다.

기계번역이 번역한 텍스트 결과물을 NMT result, 그리고 NMT result를 전문 번역사가 추가로 수정한 결과물을 post-editing result라고 칭하겠습니다. 아래는 original text인 일본어 문장을 기계번역이 한국어 NMT result로 번역하고, 최종적으로 번역사가 post-editing result로 수정한 결과물의 세가지 예시입니다. 참고로 NMT 모델은 파파고(Papago)가 사용되었습니다.

예시의 세개의 NMT result를 알아보기에는 큰 어려움이 없지만, post-editing result와 비교해보면 무엇이 부족한지 명확히 알 수 있습니다. 우선 첫번째 예시에서는 원문에서 NMT result로 전환되는 과정에서 소실된 정보가 있었음을 확인할 수 있습니다. 한국어가 속하는 표음언어의 특성상 외래어는 소스 언어의 정보를 같이 표기해줄 때 정확한 의미를 파악할 수 있을 때가 많은데, NMT result에서는 그러한 표기가 없습니다. 두번째 예시의 경우, NMT result를 알아보는 것 자체는 큰 무리가 없는 것 같습니다. 그런데 문법적으로 완전한 형태의 문장은 아닙니다. post-editing result에서는 해당 텍스트를 부호를 활용해 자연스러운 표현으로 바꾸었습니다. 마지막 세번째 예시의 NMT result 또한 알아보기에는 무리가 없으나, post-editing result를 보면 의미적으로 아예 다르게 번역되었음을 확인할 수 있습니다. 저와 같이 일본어를 모르는 사람이라면 잘자요 감사합니다.가 휴가 주셔서 감사합니다.의 오역임을 상상하기 어렵습니다.

예시에서 제시된 문제들 외에도, 문장이 길어질 때 context 정보를 일부 소실하여 같은 인물의 대명사 표시가 달라지는 문제, 신조어는 번역이 불가능한 문제 등 아직까지는 많은 한계가 있습니다. 이와 같은 문제들을 NLP 연구에서 어떻게 하나씩 해결해 나갈 수 있을지 궁금합니다.

NMT result와 post-editing result로 구성된 대량의 데이터셋이 있다면 이 둘의 차이점을 파악하여 기계번역의 성능을 올리는 방법을 고안해낼 수 있지 않을까 싶은데요. 명확한 차이점을 파악하여 오류 수치를 정량화시킬 수 있다면 기존 NMT에 후처리 모델을 추가하여 기계번역 모델의 자체 post-editing이 어느정도 가능할 것다는 생각을 했습니다. 하여, 기계번역 어떤 부분에서 성능을 개선시킬 수 있을지 파악해보는 시도의 일환으로, SpaCy 라이브러리를 이용하여 NMT result와 Post-editing result의 linguistic feature의 차이점을 뽑아 비교해보겠습니다.

(to be continued in the next post…)