Word Representation

One-hot vector로 표현

: ( that it treats each word as a thing unto itself, and it doesn't allow an algorithm to easily generalize the cross words.

이 문장을 봤을 때, 우리는 orange, apple모두 과일이니 뒤에 똑같은 juice가 와도 되겠구나 생각 가능. (generalize the cross words 의미인듯)

하지만, one-hot vector로 표현할 경우 어느 백터 쌍이든 내적값이 0이 되므로 유사도(king-Queen이 Orange와 다름) 를 알 수 없다.

One-Hot vector 대신에 각각의 특징과 값을 학습할 수 있는 표현식을 작성하자

• Word Embedding

e_456은 e_6257과 비슷한 경향을 보인다 == 비슷하다

• visualizing word embedding

  

  시각화하기 위해서, 300차원 임베딩 → 2D공간에 embedding (t-SNE)

Using Word Embeddings

durian이 orange와 apple과 같은 과일이고, cultivator가 farmer와 비슷한 의미라는 것을 알게 되면, 해당 위치에 대체해서 넣을 수 있다.

라벨이 없는 데이터(인터넷에서 얻은 데이터)⇒이름 entity recognition (적은 데이터/목표로하는 데이터) : transfer learning

• Transfer Learning & word embeddings

10000 차원의 One-hot vector대신에 300차원의 dense vector를 사용할 수 있음 (low dimensional vector사용)

transfer learning 효과적인 경우