모두의 딥러닝 8장 - 오차 역전파(back propagation)

다중 퍼셉트론에서 오차 수정

- 결과값의 오차를 구해 이를 토대로 하나 앞선 가중치를 차례로 거슬러 올라가며 조정한다. → 계산 방향이 출력층에서 시작하는데 이를 오차 역전파(back propagation)이라고 한다.

 

이미지 출처: 모두의 딥러닝

- 오차 역전파 과정

1. 임의의 초기 가중치를 준뒤 결과를 계산한다.

2. 계산 결과와 우리가 원하는 값 사이의 오차를 구한다.

3. 경사 하강법을 이용해 바로 앞 가중치를 미분값이 0에 가까워지는 방향으로 업데이트한다.

4. 위 과정을 더이상 오차가 줄어들지 않을 때까지 반복한다.

 

- 공식 

이미지 출처: 모두의 딥러닝

- 신경망의 구현과정

1. 환경 변수 지정: 환경 변수에는 입력 값과 타깃 결괏값이 포함된 데이터 셋, 학습률 등이 포함된다. 또한, 활성화 함수와 가중치 등도 선언되어야 함 

2. 신경망 실행: 초기값 입력. 활성화 함수와 가중치 거쳐 결과값 나오도록 한다.

3. 결과를 실제 값과 비교: 오차 측정

4. 역전파 실행: 출력층과 은닉층의 가중치 수정

5. 결과 출력