오늘은 Knowledge Graph (KG) 관련 태스크 중 Entity Alignment (EA)에 대해 보다 자세히 알아보겠습니다. KG 개념에 익숙하지 않으시다면 지난 글을 읽고 오시면 도움이 됩니다. 지난 글에서 간단히 소개했듯, EA는 다른 두 개 (혹은 그 이상의) KG가 가진 엔티티들 중, 실세계에서 같은 객체를 […]
이번 글에서는 지식 그래프의 기본 개념에 대해 알아보고, 관련된 대표적인 태스크로 어떤 것들이 있는지 간단하게 알아보겠습니다. 또 KG와 NLP와의 관련성에 대해서도 간단히 소개하며 마무리하겠습니다. Knowledge Graph (KG) 기본 개념 KG는 real-world의 객체 (entity) 사이의 관계 (relation)를 그래프 형태로 모델링한 것으로, 구조화된 데이터의 […]
Sequential Recommendation 태스크에 관심을 가지고 있던 와중, 2023년도 KDD를 기웃거리다가 발견한 논문 “Text Is All You Need: Learning Language Representations for Sequential Recommendation” 리뷰입니다. 간단해 보이는 idea로 새로운 sequential recommendation paradigm을 고안한 재미있는 논문이었습니다. Keyword: Language Representation, Sequential recommendation, RecFormer, Transfer Learning […]
요즘 기계번역은 누구에게나 광범위하게 사용되고 있는데요. 번역기를 사용하면 여행갈 때 소통이 편리해지고, 모국어를 공유하지 않는 외국인 친구와 큰 어려움 없이 채팅을 나눌 수 있으며, 해외 사이트에서 언어 장벽 없이 직구를 할 수 있고, 또 영어를 읽는 데 서툴러도 영어 논문을 이해하는 데에도 […]
AI 학계/업계 동향 파악을 위해 자주 방문하는 블로그를 한곳에 정리한 포스트입니다. 상시로 업데이트됩니다. Nvidia Blog Korea (Ko) #professions #AI #deeplearning #industrialAI jiho-ml.com (Ko/En) #NLP #beginners #research #newsletter #machinelearning ruder.io (En, Multi) #NLP #research #newsletter #machinelearning #NLP-progress Hugging Face Blog (En) #official #deeplearning […]
언어 모델 (Language Model, LM) 언어 모델이 무엇이냐, 에 대해 한문장으로 대답하면 “주어진 문자열을 보고 그 다음 문자열을 예측하는 모델” 이라고 정리할 수 있다. 여기서 문자열은 단어가 될 수도, 문장이 될 수도 있다. 가령 텍스트 생성 (Text Generation) 모델은 주어진 문자열 “오늘 […]
이 포스트는 최근 Eleuther.AI 의 Language Transferring 프로젝트에 참여하면서 공부한 내용을 정리하고자 작성하게 되었다. BERT, GPT-3, GPT-Neo와 같은 현재까지 공개된 큰 스케일의 PLM (Pre-trained Languae Model) 은 영어 데이터를 기반으로 한 모델이 가장 많다. PLM 연구가 성숙됨에 따라 한국어, 중국어, 독일어와 같은 […]