기계학습특론_3주차

3주차_단순선형회귀의개념_회귀모델의손실함수_학습방법.pdf

1.27MB

 

 

회귀와 분류 문제

- 회귀 : 가까운 정도(거리)를 색깔로 표현함.

- 분류 : 물체의 종류별로 다른 색깔로 표현함.

 

집값 예측 -> 관계, 예측

집값과 집 크기의 관계는 어떻게 되는가?

 

< 데이터셋 > -> 시험문제 나옴. 반드시 잘 기억하기!

훈련데이터 - 첫번째 학습하는 데이터

검증데이터 - 유사하지만 다른 데이터로 학습

테스트데이터 - 시험장에 가서 시험 보는 것처럼 아예 학습하지 않은 데이터를 테스트

External dataset

대학원에서 위의 4부분에 대해서는 다 검증하는 노력이 필요함.

 

회귀의 목적 

회귀에서의 학습

- 입력값이 주어졌을 때, 적합한 출력값을 내는 함수를 찾는 과정,

- 독립변수와 종속변수 간의 관계를 표현하는 함수를 찾는 과정

 

상관관계는 인과관계와 같지 않음. -> (통계) 인과관계로 인해 학습하는 연구분야가 많이 등장하기 시작함.

p-value값이 필요함.

기계학습을 진행할 때 p-value 값이 없으면 쓸 수 없음. (유의확률)

상한과 하한

 

단순 선형 회귀

y = ax + b

y = w1x + w0 (가중치) -> 공부할 파라미터값

* 오차를 잡는 손실, 비용함수 -> 예측에 맞는 Loss Function을 사용해야함 (MSE, MEAN)

 

비용함수에서 오차를 줄이는 방향으로 공부가 되도록 할 것.

편미분 -> 알파(변화량)

* 학습률 : Learning Rate -> 알파

 

문제

w1 = 0.1

w0 = 0.2

x = 180

y = 78 (Ground Truth, GT, 정답)

y = w1x + w0

 

Linear Regression

Model Prediciton (모델예측값)  = 0.1x180 + 0.2

 

오차 계산하는 법 -> Loss Function(손실, 비용, 목적함수)

MSE(Mean Square Error) = Loss 계산됨.

Loss 혹은 모델 예측값 계산할 줄 알아야 함.

 

오차에 대한 제곱합

최적화 낼 수 있는 값을 찾기 위한 과정

w0, w1 -> 파라미터(매개변수)

Loss -> 둘의 오차

평가지표(테스트 데이터에 대한 정확도)와 손실함수(모델 학습시 오차를 다룸)는 다르다.

 

w* = argmin L(W)

Loss가 최소가 될 수 있도록 

둘 다 MSE 손실함수를 사용함.

예측 - > 제곱 또는 절댓값 - > 음수가 나올 수 없음

평균 제곱 오차

평균 절대 오차

 

 

* 경사하강법 -> 손실함수가 주어졌을 때, w* = argmin L(w) 찾는 것이 목표.

Loss가 감소하는 방향으로 반복적으로 업데이트 함.

 

< 중요 > 

1) w는 어디에서 시작하는가? -> 초기화

2) 어느 방향으로 w를 업데이트 하는가? -> 기울기

3) w를 업데이트 할 때, 얼만큼 움직이는가? -> 학습률

 

MSE 수식 중요

이게 제일 중요!

오차와 데이터값의 가중치가 바뀜 -> 다중선형 회귀에서 끝의 xij가 살아남음

좋은 인풋이 들어가야지만 좋은 xij가 나옴.

 

학습해야 할 데이터 w0, w1

Loss Function 계산

경사하강법 계산시 큰 차이 (다중선형회귀 vs 단순선형회귀)

 

단순선형회귀가 성능이 잘 나오는 경우가 많이 있음.