Hello Data

분류문제에서 손실함수로 Cross entropy를 주로 사용하며 회귀문제에서는 MSE를 사용한다. 이 전에 MLE관점에서 MSE 를 사용하는 이유를 기록했는데 이번에는 cross entropy를 기록해보려고 한다. 우선 분류문제일 때 MSE를 사용하지 않는 것에 대해서 당연하지만 써보자면 정답 y값이 연속형 값이 아니기 때문이라고 할 수 있다. y값은 범주형의 type을 가지기 때문에 MSE를 사용하지 않는 것이다. y값이 범주형 변수일 때는 어떤 방법을 사용할 수 있을까? 가장 간단하게 베르누이 분포를 따른다고 할 수 있다. 베르누이 시행은 결과 두 가지 중 한가지만 나오는 나오는 시행이며 베르누이 확률분포는 다음과 같이 나타낼 수 있다. $ f$Y = y; \pi$ = \pi^{y} $1 - \pi$..

MLE, MAP에 대한 이해 및 헷갈리는 부분을 정리해보려고 한다. 참조한 글 및 영상 정보는 밑에 남겨두었습니다. 우선 기본적으로 MLE에 대한 이해, 왜 딥러닝에서 MLE를 쓰는지 이유를 알고 있다는 전제이다. https://keepgoingrunner.tistory.com/186 Gaussian distribution과 Mean Squared Error와의 관계 우선 해당 내용은 아래 블로그의 내용을 따랐으며 개인 공부를 위해 개인적인 이해를 추가로 담은 내용입니다. https://hyeongminlee.github.io/post/bnn002_mle_map/ Maximum Likelihood Estimation$MLE$ & Maximum A Posterior keepgoingrunner.tistor..

해당 내용은 아래의 블로그들을 참고해 작성하였습니다. https://angeloyeo.github.io/2022/09/28/Mahalanobis_distance.html https://darkpgmr.tistory.com/41 현재 OOD detection공부를 하고 있는데 대표적인 논문 중 하나가 score function을 마할라노비스로 정의하기도 하고 이렇게 정의하는 것이 좋은지 최근 논문도 이렇게 사용하고 있다. 기존에도 데이터의 분포를 고려한 거리지표라는 건 어느 정도 알고 있었는데 이번에 한번 알아보려고 한다. 2차원 좌표에서 x, y 두 점 사이의 거리를 유클라디안 거리로 표현해보자면 다음과 같다. 그러나 해당 수치는 데이터의 분포를 고려하지 못하는데 아래 이미지를 보면 딱 이해할 수 있다...

이번에 논문을 읽으면서 Precision, Recall 에 대한 표가 나왔는데 precision은 대충 감으로 알고 있었는데 recall은 많이 봤는데 항상 까먹는다. 그래서 다시 공부해보려고 한다. 우선 많이 봤을 표다. 근데 사실 봐도 계속 까먹긴한다. 일단 맞춘 것은 앞에 True가 붙는다 --> True Positive, True Negative 그리고 틀린 것은 앞에 False가 붙는데 내가 negative 로 예측했으면 False Negative, true로 예측했으면 False Positive로 붙는 것이다. 사실 또 까먹을 거 같다.. 그래서 가장 중요한 Precision, Recall을 알아보려고 한다. 일단 Precision을 살펴보자. TP / TP + FP 이다. 내가 True로 예..

참고자료 : 공돌이님 영상, 박준표님 블로그 사건 A와 사건 B가 있다했을 때 사건 A가 일어날 확률을 P$A$라고 하며 B가 일어날 확률을 P$A$라고 할 수 있다. 이것을 확률이 아니라 사건이 발생했다는 주장에 대한 신뢰도라고 설명할 수도 있다. A가 일어난 후 B가 일어난 확률을 기호로 나타낸다면 P$B|A$라고 나타낼 수 있으며 이것을 조건부 확률이라고 한다. 이에 대한 기호들을 다시 한번 바꾸어보자. 하나의 가설을 H라고 하고, 새로운 정보를 E라고 했을 때 각각의 확률을 P$H$, P$E$라고 할 수 있습니다. 그리고 새로운 정보가 일어났을 때 갱신된 가설의 확률을 P$H|E$라고 할 수 있습니다. 베이즈 정리가 잘 와닿지 않았던 이유가 P$H|E$에 대한 해석을 "E가 일어났을 때 H의 확률..

이번에 InfoGAN논문을 보면서 몬테카를로 시뮬레이션 용어가 나와서 처음 보는 용어이고 그냥 넘어갈 수 없다고 생각해 찾아보았고 정리해두려고 합니다. 참고한 내용들은 밑에 출처를 남겨두었고 해당 글들을 바탕으로 제 개인적인 이해를 적어두었습니다. 몬테카를로 시뮬레이션은 확률 분포로부터 난수를 뽑아 반복계산하는 것이다. 제가 시청한 영상에서는 작업을 예시로 들었는데요, 일 하나를 끝마치기 위해서는 작업A -> 작업B -> 작업C 의 과정을 거쳐야한다 했을 때 각각 정규분포를 따른다고 했을 때 작업A : 6~14분 소요 작업B : 10~30분 소요 작업C : 15~45분 소요 따라서 세개의 작업으로 이루어진 일은 최소 31분 최대 89분이 걸립니다. 그렇다면 최소시간과 최대 시간이 어느정도 걸리는지는 알겠..

최대한 시간을 활용해가면서 논문리딩을 하는 과정에서 Logistic Regression이란 말이 나왔다. '이 말이 로지스틱 회귀인건 알겠는데.. 그래서 뭐지?' 라는 생각이 들었고 흔한 용어인만큼 당연히 알아야한다고 생각했다. 기존에 알고 있는 선형회귀와 비교해가면서 찾아봤다. 1. 선형회귀$Linear Regression$ 키와 몸무게는 얼마나 연관되어 있을까? 키가 크면 몸무게도 클까? 이런 궁금증이 생길 수 있다. 그렇다면 일단 가지고 있는 키와 몸무게들을 좌표평면위에 나타낼 수 있고 이렇게 대략적인 선을 그을 수 있다. 보통 Y축에 있는 것이 종속변수$알고 싶은 값$ X축에 있는 값이 독립변수$활용할 변수$이다. 이러한 선은 $Y = \beta_{0} + \beta_{1} X_{i}$ 식으로..

GAN 논문을 보던 중 최대 우도법에 관한 내용이 잠깐 나오는데 이에 대해서 저번에 공부 한번 했던 거 같은데 다시 생각해보니 무슨 뜻인지 명확하게 생각이 나지 않았기 때문에 모르는 정보를 다시 찾고 기록하려고 한다. 제가 공부한 내용의 출처는 밑에다 다 적어놓겠습니다. 최대우도법을 왜 공부할까? 우선 다음 확률밀도함수 그래프를 살펴보자. 여러 개의 확률밀도 함수 그래프들이 그려져있다. 그리고 이러한 그래프들은 각각 다른 파라미터$μ, σ$로 이루어져있다. 그렇다면 만약 소수의 데이터만 주어진 상황에서 가장 최적의 확률밀도함수는 어떻게 구할까? 그 최적의 확률밀도함수의 파라미터 추정값들을 찾는 방법 중 하나가 Maximum Likelihood Estimation인 것이다. 예시 데이터가 {1, 4, 5,..