Hello Data

우선 해당 내용은 아래 블로그의 내용을 따랐으며 개인 공부를 위해 개인적인 이해를 추가로 담은 내용입니다.https://hyeongminlee.github.io/post/bnn002_mle_map/ Maximum Likelihood Estimation$MLE$ & Maximum A Posterior$MAP$ | Hyeongmin Lee's WebsiteBayes Rule을 이용한 방식의 가장 큰 단점들 중 하나는 Likelihood의 Probability Distribution을 알아야 한다는 점입니다. 물론 앞선 포스팅에서는 관찰을 통해 Likelihood를 얻었지만, 여간 귀찮은 일이 아닐hyeongminlee.github.io 간단한 Regression 회귀문제를 푼다고 했을 때, input x에 ..

사실 딥러닝 모델을 훈련시키면 그냥 loss가 떨어지면 떨어지는 갑다~ 하고 그냥 지켜보고 거의 무조건적으로 수렴할 생각으로 지켜본다. 그러나 최근에 와서 느낀건데 수렴을 안하는 경우도 상당히 많으며 이를 위해서는 초기 loss가 어느정도 되는지도 중요하다. 그래야 1epoch후 얼마나 줄어들었고를 어느정도 알 수 있기 때문이다. CrossEntropy를 사용할 경우 10개의 클래스를 시험해본다면 평균 정답률은 10%정도일 것이다. 그러면 초기 loss는 어느 정도 될까? dataset = datasets.CIFAR10$root = './sample_data', train = True, download = True, transform = transforms.ToTensor($) dataloader = D..

해당 글은 많은 부분 https://gaussian37.github.io/dl-concept-focal_loss/ 를 참조하였습니다. Object detection 문제에서 사용하는 손실함수는 여러가지가 있는데 우선적으로 bounding box가 한 물체에 대해 생성하는 classification loss가 있다. 그리고 너무 당연하게도 많은 bounding box들이 우리가 찾고자 하는 물체가 아닌 배경, 즉 background에 대하여 bounding box를 그릴 것이고 이에 대하여 loss를 발생시켜 안하도록 해야한다. 그러나 이러한 loss를 발생시키는 Cross Entropy의 경우 많은 negative, positive 부분에 대하여 가중치가 없다. 일반적인 분류문제에서는 상관없겠지만 한 이..

우리가 분류할 때 레이어 최상단에 많이 쓰는 함수로는 softmax 함수가 있다. 이전에 다른 entropy 함수랑 mse함수를 다루었는데 softmax도 한번 체크해보고자 한다. 참고 문서: 블로그 파이토치문서 수식 $$\frac{exp(a_{k})}{\sum_{i=1}^{n}exp(a_{i})}$$ 분모에서는 함수 값들에 자연상수를 씌워준 값의 합이고 분자는 해당 함수 값의 자연상수를 취한 것을 확인할 수 있습니다. 특징 각 함수 값에 softmax를 씌운 모든 값들의 범위는 [0,1]이며 합은 1이다. -->예를 들어 함수 값$1, 1, 2$가 각각 나왔다고 했을 때 각각의 softmax값은 $0.21, 0.21, 0.58$이다. softmax를 취한다고 함수 값의 대소변화에 변화를 일으키지 않는다..

이번 데이터마이닝 수업에서 예측과 분류하는데 한가지 기법으로 Neural Network가 나오는데 이를 설명하시면서 손실함수 내용들이 나왔다. 분명 내가 자주 쓰는건데 낯설었다. 그래서 한번 정의하려고 한다. 1. MSE$Mean Squared Error$ 가장 직관적인 손실함수 방법이다. $$E = Loss = \frac{1}{2} (y - \hat{y})^2$$ $y$는 정답값이고 $\hat{y}$ 는 예측값을 의미합니다. 번외로 $\bar{y}$ 는 평균값을 의미합니다. 예시 정답 : 10$y$ 예측 : 5 오차 : $10-5$^2 = 25 MSE의 특징이라하면 큰 오차에 대해 더 많은 처벌을 줄 수 있다는 점입니다. MAE$Mean Absolute Error$ 와는 다르게 미분이 가능해서 주로..