선형회귀의 목적식

Related to: Machine Learning

개요

선형회귀에서 가중치 행렬 B를 최적화하기 위한 목적식(손실 함수)과 그 편미분 방법을 정리합니다.

핵심 개념

선형회귀의 목적식

입력 데이터 $X=[x_1,x_2,..,x_n]$과 가중치 $B=[b_1,...,b_n]$ 그리고 출력 데이터 $Y=[y_1,...,y_n]$가 있을 때, $y_t\simeq x_t\ast b_t$가 되도록 행렬 B를 최적화해보자.

예측값 $r_t=x_t{b}_t$일 때, 실제 값과의 차이는 아래와 같다.

$L=\sqrt{\frac{1}{n}{\sum }_{t=1}^n||y_t-r_t|{|}_2}$

$L(B)=L(b_1,b_2,...,b_n)=\sqrt{\frac{1}{n}{\sum }_{t=1}^n||y_t-x_t{b}_t|{|}_2}$

$L=(\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2){)}^{0.5}$

L(loss)를 기준으로 얼마나 가중치모델 B를 통해 도출한 예측 값 R이 실제 값 Y에 근접하는지의 척도를 알 수 있다.

L은 R에 대한 함수이므로 위 함수에 B를 대입하면 함수 L에 대한 결과 값도 변화한다.

따라서 L 대하여 편미분 예측 값 R로 편미분을 해서 나온 기울기를 통해 L값이 낮아지는 방향으로 B를 업데이트 할 수 있다.

우선 R로 L을 편미분 해보자.

$$\begin{gathered} \frac{\delta L}{\delta R}=\frac{1}{2}(\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2))\prime (\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2){)}^{-0.5} \\ =\frac{1}{2}\frac{(\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2))\prime }{\sqrt{(\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2))}} \\ =\frac{1}{2L}(\frac{1}{n}((y_1-r_1{)}^2+...+(y_n-r_n{)}^2))\prime \\ =\frac{1}{2nL}(-2(y_1-r_1)+...+-2(y_n-r_n)) \\ =-\frac{1}{nL}((y_1-r_1)+...+(y_n-r_n)) \end{gathered}$$

R로 먼저 편미분을 한 이유는 B는 R의 함수이고 R은 L의 함수이기 때문이다.

$\frac{\delta r_t}{\delta b_t}=x_t$

$\frac{\delta l_t}{\delta b_t}=\frac{\delta l_t}{\delta r_t}\frac{\delta r_t}{\delta b_t}$

$$\begin{gathered} \frac{\delta L}{\delta B}=\frac{\delta L}{\delta R}\frac{\delta R}{\delta B} \\ =-\frac{1}{nL}((y_1-r_1)x_1+...+(y_n-r_n)x_n) \end{gathered}$$

관련 개념

• Machine Learning - 선형회귀가 속하는 머신러닝 분야
• 자동 미분(Autograd) - 편미분을 자동화하는 Autograd 기능
• Machine Learning Notation(Shan-Hung Wu) 번역 - 수식 표기법 참조

참조

Week 1