ML

Lab 6의 주제는 Neural Network이다. 그 중에서 Fully connected layer를 구현해본다. 이전에 배운 Neural network 에 대해서 잠깐 살펴보고 간다. Forward Pass bias는 생략하였고, z와 a 사이에는 sigmoid Activation function이 있다. 마지막 결과a 와 Ground Truth 인 y를 통해 error J를 계산한다. 이후 back propagation을 통해서 parameter를 업데이트 한다. Fully Connected Layer 구현 Class : FC Layer Class : Acticvation Layer

오늘은 kNN 알고리즘에 대해서 알아본다. k-Nearest Neighbors(kNN) kNN알고리즘은 classification문제를 푸는 방식이다. 위의 그림을 보자. 기존 트레이닝 데이터들이 주황색, 초록색 데이터이고, 우리는 빨간색 테스트 데이터가 어느 클래스에 속할지 알고 싶다. 이 경우 kNN알고리즘은 가장 거리가 가깝거나, 비슷한 point k개의 class를 살핀다. 빨간 테스트 데이터는 이 클래스들 중 다수 클래스로 분류된다. 알고리즘을 좀 더 단계적으로 표현하면 다음과 같다. Standardize the features to have Normal dist find k samples closest to the testing instance take classificationo output..

이번 포스팅에서는 Neural Network의 기본을 알아본다. Introduction to a neural nework single neuron에서 neural network 의 구조는 다음과 같이 생겼다. x는 input, w는 weight, b는 bias. f는 activation function이다. activation func의 예시를 ReLU라고 할 때, 뉴런 하나를 통과한 결과를 h(x)라 할 때 다음과 같다. 우리는 ReLU와 같은 activation 함수를 통해 모델의 비선형성을 확보할 수 있다. 또한, 이와 같은 layer를 stack함으로 모델이 더 복잡한 문제를 해결할 수 있도록 한다. 모델을 하나 더 쌓은 경우 다음과 같은 모습이 된다. 이제 여러개의 feature를 neural ..

Decision Tree 머신 러닝에서 Decision Tree는 데이터를 분류하거나 예측하는 알고리즘 중 하나이다. 이 방식은 Classification과 Regression에 모두 사용 가능하다 Decision Tree가 어떻게 생겼는지 살펴본다. Root node와 Leaf node에 해당하는 사각형에는 feature가 들어간다. Branch의 경우 위의 feature에 대한 내용이 된다. Classification 먼저, Decision tree를 통해 classification 문제를 어떻게 해결할 수 있는지 알아본다. 이번 포스팅에서 예시로 드는 data와 classification 문제는 아래와 같다. Start 먼저 feature를 outlook으로 하여 decision tree를 작성해보..

베이즈 정리 P(A|B): 사건 B가 주어졌을 때 사건 A의 조건부 확률 (A가 일어날 확률) P(B|A): 사건 A가 주어졌을 때 사건 B의 조건부 확률 (B가 일어날 확률) P(A): 사건 A의 사전 확률 (B에 대한 어떠한 정보도 없을 때 A가 일어날 확률) P(B): 사건 B의 사전 확률 (A에 대한 어떠한 정보도 없을 때 B가 일어날 확률) 베이즈 정리는 조건부 확률 P(A|B)를 알고 싶을 때, P(B|A)의 확률을 이용하여 알아낼 수 있다는 점에서 유용하다 Generative learning algorithm generative learning algorithm에서 베이즈 정리를 통해 모델을 추정하는 방식을 사용한다. generative learning algorithm에서는 데이터의 기반이..

Background 이미 알 법한 간단한 내용이지만, GDA를 이해하기 위한 background는 다음과 같다. ❓Multivariate normal distribution https://en.wikipedia.org/wiki/Multivariate_normal_distribution ❓Bernoulli distribution https://en.wikipedia.org/wiki/Bernoulli_distribution ❓Generative learning algorithm ❓Maximum Likelihood Estimation Gaussian Discriminant Analysis ❗ Assumption ❗ p(x|y) is distributed according to a multivariate nor..

Linear regression model Linear regressions is defined as an algorithm that provides a linear relationhip between an independent variable and a dependent variable to predict the outcome of future events. 모델이 선형이라는 것은 추정해야 할 파라미터에 대해서 선형변환을 만족시키는 것이다. 선형변환 가산성: X,Y를 분리하여 계산할 수 있음 동질성 : a를 식 밖으로 분리할 수 있음 이는 즉, 가산성과 동질성을 만족하는 경우 선형변환, 선형변환을 만족한다 라고 한다. 실변수 벡터공간에서 벡터X, Y와 스칼라 a에 대해서 다음을 만족하는 함수 T를 선형..

Loss Function quantifies our unhappiness with the scores across the training data. 모델의 학습 결과로 얻어낸 예측값(score)이 실제값과 얼마나 다른지 수치화할 수 있어야 한다. 이것을 가능하게 하는 것이 Loss function이다. Loss function(=cost func)을 통해 얻어낸 unhapiness를 우리는 loss(cost)라고 부른다. Loss를 계산하는 몇가지 방법에 대해서 알아보자. Log Likelihood Loss 이전에 알아보았던 hinge loss는 모델의 score값을 이용하여 loss값을 계산하였다. 이제는 모델이 각 class로 판단할 확률에 기반하여 loss를 계산해보자. 어떤 방식으로 모델이 각 c..