[MACHINE LEARNING] 02 Linear Regression

목차

1. Regression

2. Hypothesis

3. Cost Function

4. Minimize Cost

---

1.  Regression

그림을 살펴보며 이해해 보자.

1. Data : 2. Graph

간단한 데이터를 왼쪽에 준비했다. 여기서 x는 feature라고도 하는 예측하기 위한 기본적인 자료, y는 예측해야 할 대상이다. 이 데이터를 간단하게 그래프에 그려보면 오른쪽 그림과 같다. 

 

 

2. Hypothesis

Regression 모델을 학습할 때는 하나의 가설을 세울 필요가 있다. 이때 'Linear 한 모델이 우리가 가지고 있는 데이터에 적합할 것이다.'라고 가설을 세우는 것이 Linear Regression이다. 다르게 말해서 데이터가 주어졌을 때 그 데이터에 맞는 Linear 한 선을 찾는 것이라고 설명할 수 있다.

 

(Linear) Hypothesis

위의 그림에 있는 수식에서 H(x)는 가설이며 이렇게 x에 W를 곱한 후 b를 더해서 얻는 일차방정식의 형태의 가설을 세우는 것이 Linear Regression의 첫 단계이다. W는 Weight, b는 bias이며, W와 b의 값에 따라 선의 모양이 달라질 것이다. 그렇다면 어떤 가설이 더 좋은지는 어떻게 확인할까? 이는 실제 데이터와 가설을 나타내는 선의 거리 차이로 계산할 수 있다.

 

 

3. Cost Function

이 것을 Linear Regerssion에서는 Cost Function이라고 부른다. 다른 말로 Loss Function이라고도 하며, 우리가 세운 가설과 실제 데이터가 얼마나 다른지를 나타내는 것이다. 

Cost Function

Cost Function은 기본적으로 "H(x) - y"로 계산할 수 있는데 결괏값이 양수일지 음수일지 모르기 때문에 앞의 계산식에 제곱을 해주는 방법이 좋다. 우리가 살펴보고 있는 데이터로 Cost Function 식을 세워보면 왼쪽 위와 같고 이 식을 일반화하면 왼쪽 아래와 같다. 일반화한 식에서 m은 학습에 사용하는 데이터의 개수를 의미한다. 

 

 

4. Minimize Cost

Linear Regression에서 학습은 Cost Function의 결괏값을 가장 작게 하는 Weight와 bias를 구하는 것이다.

 

 

관련 실습 코드는 아래 깃허브 링크를 참고하면 된다.

https://github.com/CLM-BONNY/DAVIL-DA-ML-Study/blob/main/Deep%20Learning%20For%20All/ML_Lab_02.ipynb

GitHub - CLM-BONNY/DAVIL-DA-ML-Study

---

출처

모두를 위한 딥러닝 강좌(홍콩과기대 김성훈 교수님)

• ML lec 02 - Linear Regression의 Hypothesis 와 cost 설명 https://www.youtube.com/watch?v=Hax03rCn3UI&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=4
• ML lab 02- TensorFlow로 간단한 linear regression을 구현(new) https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5