1.2 Shallow Neural Networks

hidden layer가 있는 얕은 신경망에대해 알아보자.

 

 

이전 포스팅의 분류기와 달리 layer와 node가 여러개 있다. 

$l$번째 layer는 $a^{[l]}$, $l$번째 layer의 $k$번째 node를 $a_k^{[l]}$로 표현한다.

 

그림에서 Input layer는 $a^{[0]}=X$, hidden layer는 $a^{[1]}$, output layer는 $a^{[2]}=\hat{y}$으로 표현하고, 이런 신경망을 2 layer Neural Network라고 한다.(input layer는 카운트에서 제외된다.)

---

 

각 노드에서는 $z=w^{T}x+b,a=\sigma (z)$ 계산이 수행된다. $a^{[1]}$에서의 계산을 풀어보면 다음과 같다.

$z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]},a_1^{[1]}=\sigma (z_1^{[1]})$

$z_2^{[1]}=w_2^{[1]T}x+b_2^{[1]},a_2^{[1]}=\sigma (z_2^{[1]})$

$z_3^{[1]}=w_3^{[1]T}x+b_3^{[1]},a_3^{[1]}=\sigma (z_3^{[1]})$

$z_4^{[1]}=w_4^{[1]T}x+b_4^{[1]},a_4^{[1]}=\sigma (z_4^{[1]})$

 

위 계산은 행렬 곱으로 표현할 수 있다.

 

---

 

$m$개의 example이 있는 경우, $i$번째 column이 $x^{(i)}$인 $X\in {\mathbb{R}}^{n_x\times m}$를 사용하여 다음과 같이 계산된다.

$W^{[1]}\in {\mathbb{R}}^{n^{[1]}\times n^{[0]}}$, $b^{[1]}\in {\mathbb{R}}^{n^{[1]}\times 1}$, $W^{[2]}\in {\mathbb{R}}^{n^{[2]}\times n^{[1]}}$, $b^{[2]}\in {\mathbb{R}}^{n^{[2]}\times 1}$

 

---

 

지금까지는 activation function으로 sigmoid를 사용해왔다. sigmoid는 이진분류기의 출력층에 사용하기 적합한 activation function이고, 그 외에는 다른 activation function 사용을 추천한다. activation function 종류로는 sigmoid, tanh, ReLU, leaky ReLU 등이 있다.

 

hidden layer에 사용하는 activation function을 $g(z)$로 표현하면 foward propagation은 다음과 같아진다. 

 

---

 

데이터  $x$ 한 개에 대한 $d{W}^{[2]},d{b}^{[2]},d{W}^{[1]},d{b}^{[1]}$은 다음과 같이 계산할 수 있다.

---

 

$m$개의 데이터에 대한 back propagation은 다음과 같다.

 

 

$d{b}^{[l]}$ = np.sum($d{Z}^{[l]}$, axis=1, keepdims=True) 

$d{Z}^{[l]}$ shape는 $(n^{[l]},m)$, $d{b}^{[l]}$ shape는 $(n^{[l]},1)$이다. 즉, $d{b}^{[l]}$는 $d{Z}^{[l]}$의 각 행을 평균계산한 것이다.

axis=1은 열방향으로 계산함을 의미하여 각 행의 sum을 구하고, keepdims=True는 sum결과 차원을 줄이지 않고 2차원으로 유지함을 의미한다.

 

$d{Z}^{[1]}=W^{[2]T}d{Z}^{[2]}\ast g^{[1]\prime }(Z^{[1]})$

에서 $\ast$는 element wise product로 같은 행, 열에 위치한 원소별 곱이다.

 

---

 

• https://kr.coursera.org/learn/neural-networks-deep-learning/home/week/3