[머신러닝] 로지스틱 회귀(Logistic regression)

*제가 이해한 내용을 정리한것이므로, 틀린내용이 있을 수 있으니 틀린점은 지적해주시면 감사하겠습니다.

 

로지스틱 회귀는 '회귀' 라고는 하지만 선형 이진 분류에서 뛰어난 성능을 내는 알고리즘이다.

보통 이진분류에만 사용하지만, 다중분류에도 사용할 수 있다.(복잡해서 쓰지 않는다고함)

 

퍼셉트론의 가장 큰 단점은 클래스가 선형으로 구분되지 않을 때 사용할 수 없다는 점이였다.

로지스틱 회귀는 비선형 분류모델에 적용할 수 있다.

설명하기전에 일단 오즈비(odds ratio)를 알아보자.

"특정 이벤트가 발생할 확률"을 뜻한다.

동전 던지기의 확률이 1/2 일 때 앞면이 나올 확률 대비 뒷면이 나올 확률의 비율(오즈비)는 1

오즈비에 자연로그를 취한 값(p / (1 - p) 에 로그를 씌운것)을 로짓 함수라고 부른다. 

 

이 때 원래 p는 확률이므로 0~1 값을 가진다. 로그를 씌웠으므로 (-무한대 ~ 무한대) 값을 갖게 된다.

로지스틱 회귀는 이 로그 오즈비를 시그모이드 함수(sigmoid function)에 넣어서 0~1 값 사이 범위의 확률값을 얻게한다.

 

시그모이드 함수

시그모이드 함수는 0.5의 임계값을 가지고(임계값은 변경할 수 있다) 이 그래프에서 왼쪽에 포함되면 0을 예측하고 오른쪽에 포함되면 1을 예측한다. 다시말해 확률이 0.75 이렇게 나오면 1 예측 확률이 0.25이 나오면 0을 예측 하는 것이다.