단어 임베딩

1 개요

word embedding

단어 임베딩

• 자연어를 벡터로 바꾼 결과 또는 그 과정
• 자연어로 표현된 단어를 벡터화하는 과정
• 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾸는 일
• 컴퓨터가 단어를 숫자로 표현하여 컴퓨터가 작업할 수 있도록 하는 기술
• 단어나 문장 각각을 벡터로 변환해 벡터공간에 끼워 넣는다.
• 컴퓨터는 단어와 대응되는 벡터를 통해 단어들 간의 관계를 이해하고 예측한다.

2 접근방식

• 원핫 인코딩 - 텍스트 본문의 각 단어에 고유한 숫자(이진 벡터) 부여
• 카운트 기반 표현 - 본문에 단어 등장 횟수 세어 벡터 할당

3 기법

• 행렬 분해 기반
  • GloVe
  • Swivel
• 예측 기반
• 토픽 기반

4 같이 보기

• 단어
• 임베딩
• 차원축소
• ELMo
• TF-IDF
• fastText
• word2vec
• 자연어 처리
• 단어 임베딩 비주얼 인스펙터

5 참고

• 위키백과 "단어 임베딩"
• 영어 위키백과 "Word embedding"
• 다음백과 "단어 임베딩"
• 네이버백과 "단어 임베딩"
• https://linguistech.tistory.com/22
• https://katie0809.github.io/2020/02/14/ai-study1/
• https://slideplayer.com/slide/17328031/ Dr. Reda Bouadjenek - Word embeddings LSA, Word2Vec, Glove, ELMo