자연어 처리2013

Word2Vec — 단어 임베딩

단어를 벡터 공간에 매핑하는 기법을 발표

CBOW 모델: 주변 단어로 중심 단어를 예측하는 Word2Vec 구조 (Wikimedia Commons)

CBOW 모델: 주변 단어로 중심 단어를 예측하는 Word2Vec 구조 (Wikimedia Commons)

Word2Vec은 단어를 고차원 벡터로 변환하여 의미적 관계를 수학적으로 표현합니다. 'King - Man + Woman = Queen' 같은 벡터 연산이 가능합니다.

핵심 수식

벡터 유사도
cos⁡(A⃗,B⃗)=A⃗⋅B⃗∥A⃗∥∥B⃗∥\cos(\vec{A}, \vec{B}) = \frac{\vec{A} \cdot \vec{B}}{\|\vec{A}\| \|\vec{B}\|}
벡터 연산
King⃗−Man⃗+Woman⃗≈Queen⃗\vec{King} - \vec{Man} + \vec{Woman} \approx \vec{Queen}

핵심 개념

임베딩(Embedding)

이산적인 단어를 연속적인 벡터 공간에 매핑하는 것

CBOW

주변 단어로 중심 단어를 예측하는 학습 방식

Skip-gram

중심 단어로 주변 단어를 예측하는 학습 방식

주요 인물

토
토마스 미콜로프
Word2Vec 발표 (Google Research)

영향 & 의의

단어의 의미를 수학적으로 표현할 수 있게 되면서, 이후 모든 NLP 모델의 입력 표현 방식의 기준이 되었습니다. GloVe, FastText 등 후속 연구를 촉발했습니다.

관련 항목

2017트랜스포머 — Attention Is All You Need2018BERT — 양방향 사전학습