본문 바로가기

딥러닝2

2.3 Hyperparameter Tuning, Batch Normalization Hyperparameter Tuning 신경망을 변경하려면 다양한 hyperparameter를 설정해야 한다. 최적의 hyperparameter 세팅 방법은 무엇일까? \(\alpha\), \(\beta\), \(\beta_1\), \(\beta_2\), \(\epsilon\), #layers, #hidden units, learning rate decay, mini-batch size 등 신경써야하는 다양한 hyperparameter가 있다. hyperparameter 검색하는 핵심은 적합한 scale에서 random sampling으로하는 것이다. Learning rate \(\alpha\), Exponentially weighted averages \(\beta\)의 경우 linear scale이 .. 2023. 3. 27.
2.2 Optimization Algorithms 모델의 속도를 높일 수 있는 최적화 알고리즘(Optimization Algorithms)을 알아보자. 1. Mini-Batch 지금까지 우리는 전체 데이터 X (\(n_x \times m\))에 대해 gradient를 계산하는 Batch gradient descent 방법을 사용했다. Batch gradient descent는 m이 커질수록 gradient를 계산이 느려지는 문제가 있다. 전체 데이터를 mini-batch로 나눈뒤 gradient를 계산하는 Mini-Batch gradient descent 를 사용하여 gradient 계산 속도를 높일 수 있다. ex) m=5,000,000인 데이터 셋을 mini-batch size=1,000으로 나누는 경우, \(X^{\{1\}}, X^{\{2\}}, .. 2023. 3. 14.

티스토리툴바