[딥러닝 기초] 머신러닝 기초③(Neural Nets for XOR)

* 딥러닝 session은 Sung Kim님의 강의 (유튜브)를 요약/정리한 내용입니다.

** Sung Kim님의 강의와 자료는 아래의 자료를 참고하고 있습니다.

- Andrew Ng's ML class

- Convolutional Neural Networks for Visual Recognition

- Tensorflow

---

CONTENTS

• 뉴럴네트워크,Neural Nets(NN) for XOR
• XOR문제 푸는 방법
• 역전파오류, Backpropagation

---

09-1. Neural Nets(NN) for XOR

 

AND문제란?

0, 1일 중 둘 다 1일 때만 +이고 하나라도 0이면 -이다.

(0 0) → -    (1, 0) → -

(0 1) → -    (1, 1) → +

 

OR문제란?

0, 1일 중 둘 다 0일 때만 -이고 하나라도 1이면 +이다.

(0 0) → -     (1, 0) → +

(0 1) → +    (1, 1) → +

 

XOR문제란?

0, 1일 중 X1과 X2가 같으면 -이고 다르면 +이다.

(0 0) → -     (1, 0) → +

(0 1) → +    (1, 1) → -

XOR문제는 AND와 OR문제처럼 하나의 직선으로 +와 -을 나눌 수 없다. 여러 개의 Multiple logisitc regression이 필요하다.

 

XOR 푸는 방법

 

(예시) X1과 X2가 0일 때 Y값은 무엇일까?

각 neural network에 weight과 bias(W,b)가 다음과 같이 정해져있다.

1. W1 = 5, W2 = 5, b = -8

2. W1 = -7, W2 = -7, b = 3

3. W1 = -11, W2 = -11, b = 6

---

09-2. Backpropagation

W,b(weight과 bias)를 데이터로부터 어떻게 학습할 수 있을까?

: Gradient Descent(경사하강법) 알고리즘을 통해서 기울기가 최소가 되는 점을 구한다.

* 뉴럴네트워크에서는 W,b(weight과 bias)를 데이터로부터 어떻게 학습할 수 있을까?

: 각 x1, x2 ... xN이 Y에 영향력을 구할 수 있어야지 W,b를 학습할 수 있다. 이를 위해 backpropagation을 사용한다.

 

역전파오류(backpropagation)이란?

: 예측한 값과 실제 값의 차이인 cost값을 뒤에서부터 다시 돌아가면서 계산하면서 w,b를 조정하는 방법이다.

 

연쇄법칙(chain rule)이란?

: 미적분학에서 두개 이상의 함수를 하나의 함수로 만드는 공식이다.

 

backpropagation 계산 방법

f = wx + b, g = wx → f = g+b일 때 이를 그림으로 나타내면 아래와 같다. 

w = -2, x = 5, b = 3이다.

◆ 1. forward 방식으로 주어진 공식에 맞게 g와 f를 찾아간다.

: g = w*x 이므로 -10이고 f = g + b이므로 -7이다.

 

◆ 2. backward로 미분값을 찾아간다. 

: 주어진 공식에서 미분값을 미리 구해두면 아래와 같다.

파랑은 이미 주어진 미분값이고, 빨간 부분이 chain rule을 이용한 계산

◆ 3. 미분값을 통해 조정해나간다.

af/aw의 값은 5이다. 즉 w가 1이 바뀌면 f가 5배 바뀐다는 의미를 가진다. 그러므로 w를 통해 f를 조정해나갈 수 있다.

---