오늘은 Knowledge Graph (KG) 관련 태스크 중 Entity Alignment (EA)에 대해 보다 자세히 알아보겠습니다. KG 개념에 익숙하지 않으시다면 지난 글을 읽고 오시면 도움이 됩니다. 지난 글에서 간단히 소개했듯, EA는 다른 두 개 (혹은 그 이상의) KG가 가진 엔티티들 중, 실세계에서 같은 객체를 […]
이번 글에서는 지식 그래프의 기본 개념에 대해 알아보고, 관련된 대표적인 태스크로 어떤 것들이 있는지 간단하게 알아보겠습니다. 또 KG와 NLP와의 관련성에 대해서도 간단히 소개하며 마무리하겠습니다. Knowledge Graph (KG) 기본 개념 KG는 real-world의 객체 (entity) 사이의 관계 (relation)를 그래프 형태로 모델링한 것으로, 구조화된 데이터의 […]
S3-Rec (Self-Supervised learning for Sequential Recommendation)은 2020년도에 CIKM에 발표된 Self-supervised learning 매커니즘을 활용한 순차 추천시스템 연구입니다. Recap: Self-supervised Learning Self-supervised learning (자기지도 학습)은 원시 데이터 (raw data) 내에 존재하는 상관관계에서 training signal을 구성하여 이를 통해 모델을 훈련하는 방법입니다. 그 중에서도 이 논문에서는 […]
Netflix의 research scientist 저자들이 작성한 논문 “Deep learning for recommender systems: A Netflix case study” 리뷰입니다. 추천시스템 알고리즘 역사에 큰 한 획을 그은 기업인 Netflix의 연구팀에서 퍼블리시한 논문인 만큼, 그들의 struggle과 achievement를 간접적으로 느끼며 가볍게(?) 읽어보기에 좋은 아티클이었습니다. Introduction 지난 수 년간 […]
Sequential Recommendation 태스크에 관심을 가지고 있던 와중, 2023년도 KDD를 기웃거리다가 발견한 논문 “Text Is All You Need: Learning Language Representations for Sequential Recommendation” 리뷰입니다. 간단해 보이는 idea로 새로운 sequential recommendation paradigm을 고안한 재미있는 논문이었습니다. Keyword: Language Representation, Sequential recommendation, RecFormer, Transfer Learning […]
요즘 기계번역은 누구에게나 광범위하게 사용되고 있는데요. 번역기를 사용하면 여행갈 때 소통이 편리해지고, 모국어를 공유하지 않는 외국인 친구와 큰 어려움 없이 채팅을 나눌 수 있으며, 해외 사이트에서 언어 장벽 없이 직구를 할 수 있고, 또 영어를 읽는 데 서툴러도 영어 논문을 이해하는 데에도 […]
AI 학계/업계 동향 파악을 위해 자주 방문하는 블로그를 한곳에 정리한 포스트입니다. 상시로 업데이트됩니다. Nvidia Blog Korea (Ko) #professions #AI #deeplearning #industrialAI jiho-ml.com (Ko/En) #NLP #beginners #research #newsletter #machinelearning ruder.io (En, Multi) #NLP #research #newsletter #machinelearning #NLP-progress Hugging Face Blog (En) #official #deeplearning […]
언어 모델 (Language Model, LM) 언어 모델이 무엇이냐, 에 대해 한문장으로 대답하면 “주어진 문자열을 보고 그 다음 문자열을 예측하는 모델” 이라고 정리할 수 있다. 여기서 문자열은 단어가 될 수도, 문장이 될 수도 있다. 가령 텍스트 생성 (Text Generation) 모델은 주어진 문자열 “오늘 […]
최근 OpenAI와 구글에서 강화학습을 이용해 GPT-3를 한 단계 더 발전시켰다는 이야기를 들었다. 강화학습 필드는 인공지능 연구를 하다보면 소식을 자주 접하게 되면서도 NLP와는 접점이 많지 않았기에 생소하게 느껴졌는데, 이번 8월 서평단 활동으로 강화학습과 친해질 기회를 만들어보았다. 이번 포스팅에서는 먼저 강화학습이 무엇인지 간단하게 알아본 […]
이 포스트는 최근 Eleuther.AI 의 Language Transferring 프로젝트에 참여하면서 공부한 내용을 정리하고자 작성하게 되었다. BERT, GPT-3, GPT-Neo와 같은 현재까지 공개된 큰 스케일의 PLM (Pre-trained Languae Model) 은 영어 데이터를 기반으로 한 모델이 가장 많다. PLM 연구가 성숙됨에 따라 한국어, 중국어, 독일어와 같은 […]