Tunning Process

• 각 하이퍼파라미터 중요도

• 머신러닝 알고리즘 초기에는 아래 2가지를 하이퍼파라미터 초기화를 위해 이용하였다.

Using an appropriate scale to pick hyperparameters

임의로 샘플링 → 균일화된 임의의 작업 x

적절한 scale 선택 → 하이퍼파라미터 탐색

hyperparameter의 적절한 scale / log scale , exponentially weighted averages

hyperparameter tunning in practice : pandas vs caviar

하이퍼파라미터를 업데이트 하는 데 사용되는 방법들

Normalizing Activations in a Network

• normalize 하면, learning이 빨라진다.
• 활성화 함수 이전에 Normalize할 수도 있고, 이후에 할 수도 있다.

• Batch Norm 구현

감마와 베타를 Learnable Parameter로 두어 모든 hidden unit이 항상 평균0, 분산1을 가지지 않도록 해준다.