이 포스트는 최근 Eleuther.AI 의 Language Transferring 프로젝트에 참여하면서 공부한 내용을 정리하고자 작성하게 되었다. BERT, GPT-3, GPT-Neo와 같은 현재까지 공개된 큰 스케일의 PLM (Pre-trained Languae Model) 은 영어 데이터를 기반으로 한 모델이 가장 많다. PLM 연구가 성숙됨에 따라 한국어, 중국어, 독일어와 같은 […]