분류 전체보기 56

결정 트리 (Decision Tree)

결정 트리 (Decision Tree) 결정 트리(Decision Tree, 의사결정트리, 의사결정나무라고도 함)는 분류(Classification)와 회귀(Regression) 모두 가능한 지도 학습 모델 중 하나입니다. 결정 트리는 스무고개 하듯이 예/아니오 질문을 이어가며 학습합니다. 타이타닉호 탑승객의 생존 여부를 나타내는 결정 트리 입니다. 잎 아래의 숫자는 각각 생존 확률과 탑승객이 그 잎에 해당될 확률을 의미합니다. 이렇게 특정 질문에 따라 데이터를 구분하는 모델을 결정 트리 모델이라고 합니다. 한번의 분기 때마다 변수 영역을 두 개로 구분합니다. 결정 트리에서 질문이나 정답을 담은 네모 상자를 노드(Node)라고 합니다. 맨 처음 분류 기준을 Root Node라고 하고 맨 마지막 노드를 T..

AI 2021.07.22

SGD and Batch, Mini-Batch

배치 경사 하강법 (Batch Gradient Descent, BGD) 배치 경사 하강법이란, 전체 학습 데이터를 하나의 배치로 묶어 학습시키는 경사 하강법입니다. 전체 데이터에 대한 모델의 오차의 평균을 구하고 이를 미분을 통해 경사를 산출하고 최적화를 진행합니다. 보통 딥러닝 라이브러리에서 배치를 지정하지 않으면 이 방법을 쓰고 있다고 생각할 수 있습니다. 배치 경사 하강법은 전체 데이터를 통해 학습시키기 때문에 가장 업데이트 횟수가 적습니다. (1 Epoch 당 1회 업데이트) 그리고 전체 데이터를 모두 한번에 처리하기 때문에 메모리가 가장 많이 필요합니다. 전체 데이터에 대해 경사를 구하기 때문에 수렴이 안정적입니다. 확률적 경사 하강법 (Stochastic Gradient Descent, SGD..

AI 2021.07.21

경사 하강법

경사 하강법 경사 하강법은 n차 함수의 출력을 0에 가깝게 만드는 입력을 탐색하는 알고리즘 입니다. 어떤 신경망이 있다고 가정해 보겠습니다. 이 신경망은 x 데이터를 입력하면 우리가 원하는 y를 출력해야 하지만 y와 다른 예측값인 t를 출력합니다. 이때 x와 y는 변화시키지 않고 가중치 w를 수정해 t가 y의 근사값이 되도록 만들어야 합니다. y와 다른 예측값을 출력했을 때 손실 함수는 0과는 거리가 있는 어떤 값을 출력합니다. 컴퓨터는 이 값을 통해 예측이 틀렸다는 것을 알 수 있습니다. 그리고 가중치를 수정해 손실을 0으로 근사하게 만드는 작업을 해야 합니다. 신경망 내부의 변수가 하나씩 늘어날 때 마다 함수공간의 차원이 하나씩 증가합니다. 또 각 퍼셉트론은 비선형 활성화 함수를 가지고 있기 때문에 ..

AI 2021.07.21

손실함수(Loss Function)의 종류

손실 함수(Loss Function) 손실 함수란, 컴퓨터가 출력한 예측값이 우리가 의도한 정답과 얼마나 틀렸는지를 채점하는 함수입니다. 손실함수는 함수에 따라 차이는 있지만, 예측값이 정답에 가까울수록 0에 수렴하고, 정답과 거리가 멀 수록 큰 값을 출력합니다. MSE(Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의합니다. 차가 커질수록 제곱 연산으로 인해서 값이 더욱 뚜렷해집니다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킵니다. RMSE(Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일합니다. MSE 값은 오류에 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어 MSE에 루트..

AI 2021.07.20

[머신러닝] 로지스틱 회귀(logistic regression)

로지스틱 회귀(Logistic regression) 로지스틱 회귀분석은 어떤 사건이 발생할지에 대한 직접 예측이 아니라 그 사건이 발생할 확률을 예측하는 것입니다. 로지스틱 회귀모형은 반응변수가 범주형 자료이며, 일반화 선형모형의 특수한 경우로 S형 곡선을 그리는 함수 모형입니다. 특히, 로지스틱 회귀분석을 위한 종속변수는 이분형으로 0 또는 1의 값을 가지고, 독립변수는 범주형 또는 연속형 모두 가능합니다. 로지스틱 회귀모형은 여러 설명 변수들로부터 두 범주만을 가지는 반응변수를 예측하는데 사용하며, 분석 결과 종속변수 값,즉 확률이 0.5보다 크면 그 사건이 일어나며, 0.5보다 작으면 그 사건이 일어나지 않는 것으로 예측합니다. 오즈비 (승산비, Odds Ratio, OR) 오즈비는 확률과 관련된 ..

AI 2021.07.17