Optimazation1 2.2 Optimization Algorithms 모델의 속도를 높일 수 있는 최적화 알고리즘(Optimization Algorithms)을 알아보자. 1. Mini-Batch 지금까지 우리는 전체 데이터 X (\(n_x \times m\))에 대해 gradient를 계산하는 Batch gradient descent 방법을 사용했다. Batch gradient descent는 m이 커질수록 gradient를 계산이 느려지는 문제가 있다. 전체 데이터를 mini-batch로 나눈뒤 gradient를 계산하는 Mini-Batch gradient descent 를 사용하여 gradient 계산 속도를 높일 수 있다. ex) m=5,000,000인 데이터 셋을 mini-batch size=1,000으로 나누는 경우, \(X^{\{1\}}, X^{\{2\}}, .. 2023. 3. 14. 이전 1 다음
