Picking the Most Likely Sentence

한 문장의 확률을 추정

encoding network (encoding된 input으로부터 시작) ⇒ decoding network Conditional Language Model

조건부 확률을 최대화하는 y 찾기

• Greedy search

가장 좋은 단어들만을 고른다.

윗문장이 더 간결

3개까지의 최적 단어만 골랐을 때 is going의 확률이 더 좋지만, 전체 문장에서는 아니다.

rather than wanting to generate a sentence at random, you may want to try to find the most likely English sentence, most likely English translation.

1만 단어 집합 → 10개 단어 길이의 문장 만들고자할 때, ⇒ 너무 많은 경우의 수의 확률 다 확인 불가능 ⇒ search algorithm이 필요!

Beam Search

: random 보다는 best most likely한 것을 고려한다.

1. 파라미터 B =3 (beam width) # 가능성이 높은 3가지 가능성을 고려한다.

초록색:encode네트워크 / decode 네트워크로 softmax y_hat<1>을 얻는다.