[머신러닝] 로지스틱 회귀(logistic regression)

 

---

 

 로지스틱 회귀(Logistic regression)

로지스틱 회귀분석은 어떤 사건이 발생할지에 대한 직접 예측이 아니라 그 사건이 발생할 확률을 예측하는 것입니다. 로지스틱 회귀모형은 반응변수가 범주형 자료이며, 일반화 선형모형의 특수한 경우로 S형 곡선을 그리는 함수 모형입니다. 특히, 로지스틱 회귀분석을 위한 종속변수는 이분형으로 0 또는 1의 값을 가지고, 독립변수는 범주형 또는 연속형 모두 가능합니다. 로지스틱 회귀모형은 여러 설명 변수들로부터 두 범주만을 가지는 반응변수를 예측하는데 사용하며, 분석 결과 종속변수 값,즉 확률이 0.5보다 크면 그 사건이 일어나며, 0.5보다 작으면 그 사건이 일어나지 않는 것으로 예측합니다.

 

 오즈비 (승산비, Odds Ratio, OR)

• 오즈비는 확률과 관련된 의미로 P가 주어졌을 때, 사건이 발생할 확률이 발생하지 않을 확률에 비해 몇배 더 높은가의 의미입니다.
• 예를들어 종속변수의 범주가 '1'이 성공이고 '0'은 실패인 이분형을 가정할 때, P가 0.8이라면 오즈비는 (0.8/(1-0.8))=4가 되고 이것은 성공이 될 확률이 실패가 될 확률보다 4배 높다는 의미입니다.
• 로지스틱 회귀분석에서는 2*2 분할표의 연관성 측도로서 오즈비를 정의할 때 오즈를 사용합니다.

 

 Sigmoid와 Softmax

Sigmoid

• binary data
• 주로 중간 층의 활성화 함수(deep learning)
• 0~1 사이의 확률값
• 0.5 이상이면 양성, 이하면 음성의 의미

시그모이드 함수

시그모이드 그래프

 

Softmax

• multinomial classification
• 주로 출력함수(deep learning)
• 0~1사이의 확률값(단, 결과 총합이 0이 된다.)
• 하나의 값에 대해 여러개 클래스에 분류될 확률이 각 각 출력

 

 

github 코드 첨부

https://github.com/erdnussretono/LogisticRegression_scikit-learn/blob/main/logistic%20regression.ipynb

erdnussretono/LogisticRegression_scikit-learn