최근 1:1 데이터 분석 레슨과 멘토링을 사이드잡으로 진행중인데, 3월 서평단 도서 목록 중 <데이터 과학을 위한 파이썬과 R> 이라는 제목을 보자마자 고를 수 밖에 없었습니다. 인공지능을 공부하는 사람들에게 파이썬은 기본이 되는 도구이지만, 데이터 분석 분야에서는 R 또한 주류로서 많이 사용되는데요, R을 사용해본 […]
언어 모델 (Language Model, LM) 언어 모델이 무엇이냐, 에 대해 한문장으로 대답하면 “주어진 문자열을 보고 그 다음 문자열을 예측하는 모델” 이라고 정리할 수 있다. 여기서 문자열은 단어가 될 수도, 문장이 될 수도 있다. 가령 텍스트 생성 (Text Generation) 모델은 주어진 문자열 “오늘 […]
2023년도에도 한빛미디어 서평단 활동을 하게 되었다. 올해 첫 도서로 <업무에 바로 쓰는 AWS 입문> 을 받아보게 되었다. 결론부터 이야기하자면 의무감에 서평을 작성하고 있긴 하지만 누군가에게 추천할만한 책은 아니다. 곳곳에서 완성도가 떨어지는 부분이 많이 발견되어서 내용이 아무리 좋다 한들 누군가에게 권유하고 싶지 않을 […]
기업의 연구팀에서 인턴으로 일할 당시 머신러닝 알고리즘 연구 및 데이터 처리 업무 위주로 맡았는데 당시 엔지니어링의 길이란 그렇게 험악해 보일 수가 없었더랬다. 머신러닝 모델을 개발하는 일도 지금보다 훨씬 복잡했었으나 모델을 서빙하는 것은 정말 맨땅에 헤딩하는 것처럼 보였기 때문에 저쪽은 쳐다도 보면 안되겠다 […]
최근 OpenAI와 구글에서 강화학습을 이용해 GPT-3를 한 단계 더 발전시켰다는 이야기를 들었다. 강화학습 필드는 인공지능 연구를 하다보면 소식을 자주 접하게 되면서도 NLP와는 접점이 많지 않았기에 생소하게 느껴졌는데, 이번 8월 서평단 활동으로 강화학습과 친해질 기회를 만들어보았다. 이번 포스팅에서는 먼저 강화학습이 무엇인지 간단하게 알아본 […]
이 포스트는 최근 Eleuther.AI 의 Language Transferring 프로젝트에 참여하면서 공부한 내용을 정리하고자 작성하게 되었다. BERT, GPT-3, GPT-Neo와 같은 현재까지 공개된 큰 스케일의 PLM (Pre-trained Languae Model) 은 영어 데이터를 기반으로 한 모델이 가장 많다. PLM 연구가 성숙됨에 따라 한국어, 중국어, 독일어와 같은 […]
학부생 당시 중국 특유의 흑백흑백한 교과서와 언어의 어려움으로 인해 전공과목들을 잘 소화해지 못했던 기억이 난다. 그렇게 자리잡은 전공과목 알러지(…)는 아직까지도 트라우마처럼 나에게 남아있다. 나중에 실무를 경험하며 필요성을 깨닫고 ‘언젠가 다시 각잡고 공부해야지!’ 했으나 그런 일은 일어나지 않았다. 그러다 우연히 이번달 서평단 도서 […]
스스로에게 아쉬웠던 6기를 뒤로하고 고민끝에 7기에 이어서 조인하게 되었다. 블로그를 잘 운영해보고 싶은 마음에 몇일동안 힘들게 github.io 베이스의 블로그를 만들었음에도 불구하고, 실패로 끝나고 말았는데…. 가장 컸던 요인은 블로그 포스팅의 접근성이 매우 떨어졌다는 것. 포스트를 작성할 때 그동안 쓸일도 없었고 앞으로도 쓸 일이 […]
Recent Question Answering (QA) research focuses on answering complex questions rather than simple questions. This is because, while simple questions can already be solved easily with the development of Question Answering over Knowledge Graphs (KGQA) , complex questions are still the challenge in this task. For example, for […]