Optimization Algorithms

Mini-Batch Gradient Descent

: Optimization Algorithm을 빠르게 돌리기 위해서 m개의 예제를 512, 1024,.. 개씩 나눠서 처리하는 방법

• Mini Batch Gradient Descent를 식으로 나타내면 아래와 같다.

총 5000이 있고, Mini Batch size를 1000이라 가정하자

1 epoch(=a single pass through training set) ⇒ 5000 Gradient Descent Step

반면에, Batch Gradient Descent는

1 epoch ⇒ 1 Gradient Descent Step

Understanding Mini-Gradient Descent

• Batch Gradient Descent vs Mini Batch Gradient Descent

• Mini Batch Size ?

Exponentially Weighted Averaged

Bias Correction

Gradient Descent with Momentum