ML

Decision Tree 머신 러닝에서 Decision Tree는 데이터를 분류하거나 예측하는 알고리즘 중 하나이다. 이 방식은 Classification과 Regression에 모두 사용 가능하다 Decision Tree가 어떻게 생겼는지 살펴본다. Root node와 Leaf node에 해당하는 사각형에는 feature가 들어간다. Branch의 경우 위의 feature에 대한 내용이 된다. Classification 먼저, Decision tree를 통해 classification 문제를 어떻게 해결할 수 있는지 알아본다. 이번 포스팅에서 예시로 드는 data와 classification 문제는 아래와 같다. Start 먼저 feature를 outlook으로 하여 decision tree를 작성해보..

베이즈 정리 P(A|B): 사건 B가 주어졌을 때 사건 A의 조건부 확률 (A가 일어날 확률) P(B|A): 사건 A가 주어졌을 때 사건 B의 조건부 확률 (B가 일어날 확률) P(A): 사건 A의 사전 확률 (B에 대한 어떠한 정보도 없을 때 A가 일어날 확률) P(B): 사건 B의 사전 확률 (A에 대한 어떠한 정보도 없을 때 B가 일어날 확률) 베이즈 정리는 조건부 확률 P(A|B)를 알고 싶을 때, P(B|A)의 확률을 이용하여 알아낼 수 있다는 점에서 유용하다 Generative learning algorithm generative learning algorithm에서 베이즈 정리를 통해 모델을 추정하는 방식을 사용한다. generative learning algorithm에서는 데이터의 기반이..

Linear regression model Linear regressions is defined as an algorithm that provides a linear relationhip between an independent variable and a dependent variable to predict the outcome of future events. 모델이 선형이라는 것은 추정해야 할 파라미터에 대해서 선형변환을 만족시키는 것이다. 선형변환 가산성: X,Y를 분리하여 계산할 수 있음 동질성 : a를 식 밖으로 분리할 수 있음 이는 즉, 가산성과 동질성을 만족하는 경우 선형변환, 선형변환을 만족한다 라고 한다. 실변수 벡터공간에서 벡터X, Y와 스칼라 a에 대해서 다음을 만족하는 함수 T를 선형..

Loss Function quantifies our unhappiness with the scores across the training data. 모델의 학습 결과로 얻어낸 예측값(score)이 실제값과 얼마나 다른지 수치화할 수 있어야 한다. 이것을 가능하게 하는 것이 Loss function이다. Loss function(=cost func)을 통해 얻어낸 unhapiness를 우리는 loss(cost)라고 부른다. Loss를 계산하는 몇가지 방법에 대해서 알아보자. Log Likelihood Loss 이전에 알아보았던 hinge loss는 모델의 score값을 이용하여 loss값을 계산하였다. 이제는 모델이 각 class로 판단할 확률에 기반하여 loss를 계산해보자. 어떤 방식으로 모델이 각 c..

Loss Function quantifies our unhappiness with the scores across the training data. 모델의 학습 결과로 얻어낸 예측값(score)이 실제값과 얼마나 다른지 수치화할 수 있어야 한다. 이것을 가능하게 하는 것이 Loss function이다. Loss function(=cost func)을 통해 얻어낸 unhapiness를 우리는 loss(cost)라고 부른다. Loss를 계산하는 몇가지 방법에 대해서 알아보자. Hinge Loss hinge loss는 Support Vector Machine에서 주로 사용되고 있기 때문에 SVM loss로 불리기도 한다. Binary hinge loss (binary SVM loss) 가장 기본적인 형태의 b..