[BITAmin] 3주차 K-최근점 이웃 회귀, 선형 회귀

K-최근접 이웃 알고리즘은 주변의 가장 가까운 K개의 데이터를 보고 새로운 데이터를 판단하는 알고리즘을 말한다.

N개의 특성(feature)을 가진 데이터는 n차원의 공간에 점으로 표현되는데, 유사한 데이터끼리는 거리가 가깝다.

이때, 다양한 거리함수를 통해 데이터 간의 거리를 구할 수 있다.

이 알고리즘은 모델의 효과를 높이기 위해 파라미터인 K를 조정한다.

 

K-최근접 이웃 알고리즘은 KNN 분류와 KNN 회귀에 모두 적용 가능한데, KNN 회귀에는 다음과 같이 적용된다.

 

1. 다양한 거리 함수를 이용해 가까운 k개의 이웃을 찾는다. (유클리드 거리, 맨해튼 거리, 해밍 거리 등)

2. 이웃 샘플의 타깃값을 평균하여 예측하고자 하는 데이터의 예측값으로 사용한다.

3. 다양한 회귀 모델의 평가지표를 이용해 모델의 성능을 측정한다. (결정계수 R^2, MSE, RMSE, MAE, MAPE, MPE 등)

4. 훈련 세트, 테스트 세트에 대한 평가 점수를 통해 과대적합/과소적합/적정 을 판단한다.

* 훈련세트 점수 < 테스트 세트 점수이면 과소적합

훈련세트 점수 > 테스트 세트 점수이면 과대적합이다.

 

이 알고리즘은 학습 데이터의 노이즈에 크게 영향을 받지 않고, 훈련 단계가 빠르며 이상치의 영향을 덜 받아서 데이터의 분산까지 고려하면 상당히 로버스트하다는 장점이 있다. 그러나 모델을 생성하지 않아서 특징과 클래스 간 관계를 이해하는데 제한적이며 최적 이웃의 수와 사용할 거리 척도를 데이터 각각의 특성에 맞게 연구자가 임의로 설정해야한다는 단점이 있다. (*주로 최적 이웃 수는 홀수이다)

거리함수의 종류에는 유클리드 거리함수, 맨해튼 거리함수, 해밍 거리함수가 있다.

이중 유클리드 거리함수는 

각 차원의 차를 제곱해서 모두 더한 값의 제곱근으로, 2차원에서는 피타고라스 정리와 같다.

이때, k값을 정해야 하기 때문에 x와 y 벡터를 정규화 후 거리함수를 계산해준다.

 

맨해튼 거리함수는 

다음과 같이 각 차원의 차의 절댓값을 바로 합산해준다.

 

해밍 거리함수는 각 차원마다 차이를 찾는게 아닌 '정확히 같은지'의 여부만 고려하기 때문에 주로 두개의 이진 데이터

문자열을 비교하기 위한 지표로 사용된다. (*비트 하나가 다를 때마다 해밍거리가 증가한다)

 

 

최적의 k값은 데이터에 의존적이며 다양한 발견적 기법으로 선택된다. -> Trial & Error (python 반복문 사용)

에러율이 가장 작은 k를 선택하게 되는데, K가 너무 작으면 과대적합되어 데이터의 지역적 특성을 지나치게 반영하게 되고, K가 너무 크면 과소적합되어 모델이 과하게 정규화된다.

종속 변수가 연속형인 경우 거리가 가까운 관측치들에게 가중치(weight)를 부과해 가중평균으로 구하는 것을 의미하며 Inverse distance weighted average가 고려 가능하다.

종속 변수가 범주형일 경우 Tie 문제를 막기 위해 k는 홀수가 권장된다.

비용함수라고도 불리는 회귀 모델의 평가 지표는 원래의 값과 가장 오차가 작은 가설함수 를 도출하기 위해 사용되는 함수이다. 

가장 흔히 쓰이는 결정계수 R^2은 통계학 회귀 분석에서 자주 쓰이며 모델이 데이터를

얼마나 잘 예측하는지에 대한 지표이다.

평균으로 예측했을 때보다 모델을 사용했을 때

얼마나 더 좋은 성능을 내는지에 대한 비율로 나타낸 값을 의미한다.

실제 값계의 분산 대비 예측값의 분산 비율

 

 

 

오차 제곱 평균인 MSE (Mean Squared Error)는 예측값과 실제값의 차이에 대한 제곱에 대하여 평균을 낸 값으로,

가장 많이 사용되며 이상치에 민감하다. 오차가 작으면 작을수록 좋지만 과대적합이 될 수 있다.

0~무한대의 값을 가진다.

평균 제곱근 오차인 RMSE(Root Mean Squared Error)는 MSE에 루트를 씌운 값으로, 

MSE의 장단점을 거의 따라가지만 제곱오차에 대한 왜곡을 줄여주며 로버스트하다는 장점이 있다.

오류 지표를 루트를 통해 실제값과 유사한 다위로 변환하기 때문에 해석이 쉬우나 실생활에서 쓰는 계산법을 벗어났다고 할 수 있다. 그럼에도 큰 오류값 차이에 대한 큰 패널티를 주는 이점이 있어 많이 쓰인다.

분모가 작아져서 총 결과는&nbsp; MSE보다 크다.

파이썬

평균 절대 오차인 MAE(Mean Absolute Error)는 절댓값을 취하기 때문에 가작 직관적으로 알 수 있는 지표이다.

MSE보다 특이치에 robust하다.(*제곱하지 않기 때문에 이상치에 덜 민감)

그러나 절댓값을 취하기 때문에 모델이 실제보다 실제보다 높은 값으로 예측되었는지(overperformance), 

낮은 값으로 예측되었는지(underperformance) 알 수 없다.

평균 절대비 오차인 MAPE(Mean Absolute Percentage Error)는 MAE와 마찬가지로 MSE보다 특이치에 robust하며

MAE와 같은 단점을 가진다. 퍼센트 값을 가지며 0에 가까울수록 회귀 모형의 성능이 좋다고 해석할 수 있으며, 

모델에 대한 편향이 존재한다.

0~100% 사이의 값을 가져 성능 비교 해석이 가능하다.

파이썬

 

MPE(Mean Percentage Error)는 MAPE에서 절댓값을 제외한 지표로, 과소평가인지 과대평가인지 알 수 있어서 편리하다.

MAE, MSE와 같은 절대오차 측정이 아닌 MAPE, MPE와 같은 상대오차 측정이다.

sklearn에 없어서 직접 정의

 

 

 

<KNN 회귀 구현>

클래스 구조

 

 

n이 커질수록 모델이 단순해진다.

*과대적합이란 모델이 훈련 세트에서는 좋은 성능을 내지만 검증 세트에서는 낮은 성능을 내는 경우를 말하며, 

분산이 크다. -> 훈련 세트에 충분히 다양한 샘플이 포함되지 않아서 일어난다.

훈련 세트에 다양한 샘플을 포함시키거나, 훈련 샘플을 더 모을 수 없는 경우 모델이 훈련 세트에 집착하지 않게

가중치를 제한해 모델의 복잡도를 낮추거나, outlier나 error를 제거해 잡음을 줄여서 해결할 수 있다.

*과소 적합이란 훈련 세트와 검증 세트의 성능에는 차이가 크지 않으나 모두 낮은 성능을 내는 경우를 말하며, 

편향이 크다고 할 수 있다. -> 복잡도가 더 높은, 파라미터가 더 많은 모델을 사용하거나 가중치 규제를 완화해 해결할 수 있다. 

과소적합 해결 예시

 

파란선이 선형회귀 직선

회귀 분석 : 독립변수 x에 대응하는 종속변수 y와 가장 비슷한 값을 가지는 함수 f(x)를 찾는 과정 -> 함수 f(x)를 통해 미래 사건을 예측

선형 회귀 모형 : 회귀 분석을 통해 구한 함수 f(x)가 선형 함수일 때 f(x) = 회귀 직선 

선형 회귀 분석 : 선형 회귀 모형을 사용하는 회귀분석 : 특성과 타깃 사이의 관계를 잘 나타내는 선형 회귀 모형을 찾고 이들의 상관 관계는 가중치/계수(m), 편향(b)에 저장된다.

yhat = W*x + b (W = 가중치, b = 편향)

비용함수(= 손실 함수) : 선형 모델의 예측과 훈련 데이터 사이의 거리를 재는 함수 -> 비용 함수의 결과값이 작을수록 선형 모델의 예측이 정확함을 나타낸다. 

*선형 회귀는 선형 모델이라는 가설을 세워 데이터를 선형 모델 위에 있다고 가정하는 방식이므로
실제 데이터(훈련 데이터)와 선형 모델의 예측 사이의 차이가 존재한다.

&there4; 실제 데이터와 선형 모델의 예측 사이의 차이를 평가하는 함수는 비용 함수를 사용하여 정확도를 계산한다

산점도로 선형회귀가 잘 이루어졌는지 확인해볼 수 있는데, 

위의 경우 과소 적합되었으므로 다항회귀를 사용하여 모델의 복잡도를 높여주면 해결 가능하다.

다항 회귀란 다항식을 사용한 선형 회귀로 비선형성을 띄는 데이터도 선형 모델을 사용하여 최적의 곡선을 찾을 수 있다.

 

<경사하강법>

경사하강법이란 머신러닝, 딥러닝 알고리즘을 학습시킬 때 사용하는 방법으로 비용함수의 기울기를 계속 낮은 쪽으로 이동시켜 극값(최적값)에 이를 때까지 반복하는 것을 말한다.

 

경사하강법을 이용하여 비용함수에서 기울기가 "0"일때 비용값(오차)을 구할 수 있으며 비용함수의 최소값을 구하면

이때 회귀함수를 최적화할 수 있게 된다.

파이썬으로 구현 후 Y = mx + b 함수를 그려보면

실측값, 예측값 산점도를 그리는 함수 생성

여기서 Learning rate란 학습률로, 선형회귀에서 가중치와 편향을 경사하강법에서 반복학습 시킬 때, 한번 반복학습 시킬 때마다 포인트를 얼만큼씩 이동시킬 것인지 정하는 상수이다. 학습률이 너무 작을 경우 local minimum에 빠질 수 있고, 너무 큰 경우 수렴이 일어나지 않으므로 적당한 학습률을 찾는 것이 중요하다.

파랑 : 실제값, 주황 : 추정값

앞의 파이썬 코드를 실행하면 반복문이 실행되면서 오차가 점점 작아짐을 알 수 있다. 

최종적으로 오차가 줄어들며 실제값을 정확히 추정할 수 있다.

 

실습

Credit.csv 출처

https://www.kaggle.com/ishaanv/ISLR-Auto/version/1?select=Credit.csv

Datasets for ISRL

1. KNN 회귀

1-1

구글 드라이브에 csv 파일이 저장되어 있어야 한다.

Credit.csv

1.2

필요없는 열을 제거해서 credit_c에 저장해줍니다.

데이터 분포 확인하기

Rating 과 Limit을 변수에 저장 후 데이터의 분포를 확인해줍니다.

 

1.3

독립변수는 rating, 종속변수는 limit이 되도록 하여 train_input, test_input, train_target, test_target을 분리해줍니다.

이때, train_input 와 test_input의 비율은 7:3이고, random_state는 5로 설정해서 random 값을 고정해줍니다.

 

1.4

KNeighborRegressor에 넣어주려면 배열의 크기를 2차원으로 바꿔줘야 하기 때문에 train_input과 test_input을 2차원의 열벡터로 변경해 각각 저장해줍니다.

*이렇게 np.newaxis를 사용해주면 1 역할을 하며 필요한 차원을 채워줍니다.

 

test set의 20%를 validation set으로 따로 분리해서 최적의 n값을 구하는 데 사용해줍니다.

1.5

train_input과 train_target을 활용해 k-최근접 이웃 회귀 모델을 훈련시키고, train set과 test set에 관한 결정계수를 각각 출력해줍니다.

각각의 결정계수

2. 선형회귀

2.1

Credit 전체에서 Rating이 700 미만인 행만 credit_r 변수에 저장해줍니다.

 

2.2

credit_r에서 Balance 와 Rating 변수를 따로 저장해준 후 scatterplot으로 분포를 확인해봅니다.

 

2.3

StandardScaler 매서드를 활용해 balance와 rating을 정규화해준 후 정규화 한 값을 따로 저장해주어야 합니다.

이때 두 변수의 평균과 분산을 각각 출력해보면 0과 1에 매우 가까워졌음을 확인할 수 있습니다.

 

2.4

위에서 저장해준 변수들의 열 이름을 Balance와 Rating으로 지정해준 후 Dataframe에 저장해줍니다.

 

2.5

DBSCAN을 활용해서 입실론이 0.25, min_samples를 5로 설정해준 후 data를 fit_predict 해서 strange 변수에 저장합니다.

이때, -1의 값을 갖는 데이터들은 이상치로 분류됩니다.

이때 DBSCAN에서는 군집화를 하는 기준으로 유클리디안 거리를 활용해 각 데이터별로 거리를 구한 뒤, 설정한 eps 값 이내에 해당하는 데이터끼리 군집화를 합니다. 이때 데이터가 정규화되지 않아서 해당 데이터를 나타내는 지표들의 스케일이 다르다면 데이터 간의 실질적인 거리를 측정하기 어렵기 때문에 정규화 후에 DBSCAN을 활용합니다.

 

2.6

1) credit_r에서 strange가 -1인 행들만 추출해 credit_removed 변수에 저장합니다.

2) credit_removed에서 Balance열과 Rating열을 각각 balance_r과 rating_r변수에 저장합니다.

 

그 후 strange를 제거하기 전후 scatterplot을 비교합니다. 이상치 제거 이후 방향성이 더 뚜렷해진 것을 볼 수 있습니다.

 

2.7

x를 독립변수, y를 종속변수로 두고 훈련세트와 테스트세트로 나눠줍니다. 

train_input와 test_input은 2차원 배열로 바꾸어 저장해줍니다.

 

2.8

선형회귀 모델 lr1을 만들어 train set을 활용해 학습시킨 다음, train set의 스코어는 train_score1에, test set의 스코어는 test_socre1에 저장해서 출력해보면 스코어가 1에 가깝게 나온 것을 확인할 수 있습니다.

2.9

 train_input^2을 첫번째 열로, train_input을 두번째 열로 갖는 2d array인 train_poly를 만들고

 test_input^2을 첫번째 열로, test_input을 두번째 열로 갖는 2d array인 test_poly를 만들어줍니다.

 

2.10

선형회귀모델 l2를 만들어 위에서 만든 train_poly 와 test_poly로 학습시킨 후, score을 출력해주고 scatterplot도 그려줍니다. scrore가 더 높아졌음을 확인할 수 있습니다.

2.11

실제 x값과 y값의 scatterplot을 그린 후 train_input을 활용해 학습한 l1에 np.arrange(0,1,0.01)를 독립변수로 사용하여 도출한 예측값을 종속변수로 하는 plot과 train_poly를 활용해 학습한 l2에 np.arrange(0,1,0.01)를 독립변수로 사용하여 도출한 예측값을 종속변수로 하는 plot을 그려줍니다. (l1이 파란선, l2가 빨간선)

lr1을 사용했을 때의 train/test score 와 lr2를 사용했을 때의 train/test score를 비교해보았을 때 둘다 다항선형회귀를 사용한 것이 더 점수가 높다는 것을 알 수 있습니다.