모두의 딥러닝 3장 - 최소 제곱법, 평균 제곱 오차

'x값이 변함에 따라 y값도 변한다.'는 정의 안에서,

- 독립적으로 변할 수 있는 값 x = 독립 변수 

- 이 독립 변수에 따라 종속적으로 변하는 값 y = 종속 변수

 

선형 회귀

- 독립 변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명하는 작업

- 단순 선형 회귀 : 하나의 x값만으로도 y값을 설명할 수 있을 때

- 다중 선형 회귀 : x값이 여러 개 필요할 때

 

y = ax + b일때, 선형회귀는 최적의 a값과 b값을 찾아내는 작업

 

최소 제곱법

주어진 값 x가 하나일 때, 기울기 a와 절편 b rngksms qkdqjq 

 

a = (x-x 평균)(y-y 평균)의 합 / (x-x평균)^2의 합

b = y의 평균 - (x의 평균 * 기울기 a)

 

최소 제곱법 활용

평균 제곱 오차

- 여러 개의 입력값을 계산할 때 임의의 선을 그리고 난 후, 이 선이 얼마나 잘 그려졌는지 평가하여 조금씩 수정해간다. 이를 위해 주어진 선의 오차를 평가하는 오차 평가 알고리즘이 필요 → 평균 제곱 오차(MSE)

- 이 오차의 계산 결과가 가장 작은 선을 찾는 작업

그림 출처: https://www.dataquest.io/blog/understanding-regression-error-metrics/

 

 

mse 최종값을 통해 오차가 약 15.25라는 것을 알 수 있다. 이 값을 줄여나가면 된다. 

선형 회귀

- 임의의 직선을 그어 이에 대한 평균 제곱 오차를 구하고, 이 값을 가장 작게 만들어 주는 a와 b의 값을 찾아가는 작업