전체 글25 1.3 Deep Neural Networks 깊은 신경망은 앞서 정리한 얕은 신경망과 유사하다. layer를 \(L\)개로 확장하면 된다. 1 ~ 1-\(L\) layer는 임의의 activation function(\(g^{[1]}, ..., g^{[L-1]}\))을 사용하고 \(L\) layer의 activation function(\(g^{[L]}\))는 Sigmoid일 때, Forward Propagation과 Backward Propagation은 다음과 같다. L-layer Neural Network에서 최적의 parameter(W, b)와 cost를 구하는 로직은 다음과 같다. def L_layer_model(X, Y, layers_dims, learning_rate = 0.0075, num_iterations = 3000, print.. 2023. 2. 21. 1.2 Shallow Neural Networks hidden layer가 있는 얕은 신경망에대해 알아보자. 이전 포스팅의 분류기와 달리 layer와 node가 여러개 있다. \(l\)번째 layer는 \(a^{[l]}\), \(l\)번째 layer의 \(k\)번째 node를 \(a^{[l]}_k\)로 표현한다. 그림에서 Input layer는 \(a^{[0]}=X\), hidden layer는 \(a^{[1]}\), output layer는 \(a^{[2]}=\hat{y}\)으로 표현하고, 이런 신경망을 2 layer Neural Network라고 한다.(input layer는 카운트에서 제외된다.) 각 노드에서는 \(z=w^Tx+b, a=\sigma(z)\) 계산이 수행된다. \(a^{[1]}\)에서의 계산을 풀어보면 다음과 같다. \(z^{[1]}.. 2023. 2. 14. 1.1 Neural Networks Basics 이미지가 고양이 이미지인지(1) 아닌지(0) 구분하는 binary classification이 있다고 하자. 이미지는 64 pixels X 64 pixels이며, 각 픽셀은 RGB로 표현된다. binary classification의 input feature vector의 shape는 (1, 64*64*3)이고 input size(\(n_x\))는 64*64*3, output size(\(n_y\))는 1이다. \(m\)개의 이미지를 분류하는 경우, input matrix \(X\)의 shape는 (\(n_x\), \(m\))이고 label matrix \(Y\)의 shape는 (\(n_y\), \(m\))이다. \(i\)번째 example(\(X\) 의 \(i\)번째 column)은 \(x^{(i)}\.. 2023. 2. 7. 1-3. 차원축소 - Feature Extraction(1); PCA, MDA feature 성질을 유지하며 차원 축소하는 기법 PCA(Principal Component Analysis, 주성분 분석) 목표: 분산을 보존하는 직교기저 찾기 데이터 행렬 \(X\)를 기저 \(w\)에 사영한 결과 \(w^{T}X\)에 대한 공분산 행렬 \(w^{T}Sw\)에 대해, \(w^{T}Sw\)가 최대가 되도록 하는 기저 \(w\)는 \(S\)의 고유벡터이다. (고유값 λ이 큰 고유벡터 \(v\)가 분산을 보존하는 기저) 고유값 계산으로 k번째 기저에 사영했을 때, 보존되는 분산량을 구할 수 있다. $\frac{\lambda_k}{\lambda_1+\lambda_2+\ldots+\lambda_d}$ 몇 개의 주성분을 사용하는 것이 적절한지 판단하기 위해 아래의 방법을 사용한다. 주성분 별 보.. 2023. 1. 11. 이전 1 2 3 4 5 6 7 다음
