Hello Computer Vision

우선 해당 내용은 아래 블로그의 내용을 따랐으며 개인 공부를 위해 개인적인 이해를 추가로 담은 내용입니다. https://hyeongminlee.github.io/post/bnn002_mle_map/ Maximum Likelihood Estimation(MLE) & Maximum A Posterior(MAP) | Hyeongmin Lee's Website Bayes Rule을 이용한 방식의 가장 큰 단점들 중 하나는 Likelihood의 Probability Distribution을 알아야 한다는 점입니다. 물론 앞선 포스팅에서는 관찰을 통해 Likelihood를 얻었지만, 여간 귀찮은 일이 아닐 hyeongminlee.github.io 간단한 Regression(회귀) 문제를 푼다고 했을 때, inpu..

링크: https://arxiv.org/pdf/1908.04951.pdf OOD를 unsupervised 방식으로 향상시킨 방법이다. Introduction OOD 에 대한 문제점을 가볍게 언급하고 있다. 그리고 해당 문제점을 새로운 방법인 2 head classifier, unsupervised 방식으로 풀어냈다고 소개하고 있다. 그리고 실험 세팅에서는 unlabeled 데이터에 대해 해당 데이터가 in distribution인지 ood 인지 구분하지 못하지만 성능향상에 도움이 된다고 한다. Method 우선 OOD detection 을 풀어내는 방식의 시초가 되는 MSP논문의 경우 딥러닝 모델의 분류기가 ID의 경우 조금 더 높은 probability를 가지는 것을 이용했다. 이 논문의 저자도 이러한..

https://arxiv.org/pdf/1807.03888.pdf Introduction uncertainty 를 아는 것은 머신러닝을 실제 세계에 응용하기 위해서는 필수적이다. 기존 연구들에서는 posterior distribution으로부터 confidence를 뽑아내 활용했다. 이러한 것은 DNN이 feature space를 구성하는데 도움이 된다. 이 논문에서는 간단하고 효율적이며 pre-trained softmax classifier에도 적용할 수 있는 방법이라고 한다. 해당 방법은 generative(distance based) classifier를 활용하는 것이다. 저자는 Mahalanobis distance를 활용하여 confidence score를 정의한다. 기존 통념과는 다르게 해당 d..

논문의 풀 제목은 Enhancing the Reliability of Out-of-Distribution Image detection in Neural Networks이다. ODIN은 Out of Dstribution detector for Neural networks이다. https://arxiv.org/pdf/1706.02690.pdf Introduction 딥러닝 모델을 실제 세계에 응용해보면 전혀 관련없는 input에 대해 high confidence를 가지는 경향이 있다. 따라서 분류기는 이러한 상황을 잘 인지할 필요가 있다(OOD detection). 가장 간단한 방법은 훈련과정에서 in, out distribution sample들을 많이 노출시키는 것이지만 해당 방법은 매우 비싸다. 따라서..

https://arxiv.org/pdf/1802.04865.pdf Introduction 무언가를 결정할 때 어떤 것을 알고 모르는 것은 매우 중요하다. 그러나 최근 딥러닝 분류기는 성능이 좋기도 하지만 높은 값의 확률을 주면서 틀린 값을 주기도 한다. 또한 이러한 모델들은 OOD데이터에 대해서도 잘 구분하지 못한다. 이러한 문제점은 AI saftey 의 큰 문제점이라고도 할 수 있다. 따라서 해당 논문에서는 분류기로 하여금 confidence estimate를 각 input에서 뽑도록 훈련시킨다. Confidence Estimation 모델로 하여금 input에 대해 confidence 를 산출하는 것은 어려운 일이다. 따라서 저자는 모델에게 인센티브를 따로주었다고한다. 해당 방법에 대한 motivat..

사실 딥러닝 모델을 훈련시키면 그냥 loss가 떨어지면 떨어지는 갑다~ 하고 그냥 지켜보고 거의 무조건적으로 수렴할 생각으로 지켜본다. 그러나 최근에 와서 느낀건데 수렴을 안하는 경우도 상당히 많으며 이를 위해서는 초기 loss가 어느정도 되는지도 중요하다. 그래야 1epoch후 얼마나 줄어들었고를 어느정도 알 수 있기 때문이다. CrossEntropy를 사용할 경우 10개의 클래스를 시험해본다면 평균 정답률은 10%정도일 것이다. 그러면 초기 loss는 어느 정도 될까? dataset = datasets.CIFAR10(root = './sample_data', train = True, download = True, transform = transforms.ToTensor()) dataloader = D..

이전 3장에는 shallow neural network, hidden layer가 1겹밖에 없는 network를 알아봤다면 이번 4장은 depe neural network이다. 1. Composing neural networks hidden layer 2개를 한번 생각해보자. 이렇게 layer를 설정하는 것은 deep neural network의 특별한 케이스라고 볼 수 있다. 2. Deep neural networks 위에서는 2개의 shallow network를 구성하는 것이 deep network의 speical case라는 것을 확인했다. 좀 더 general한 case는 다음과 같다. 당연하게도 우리는 2개 보다 더 많은 hidden layers를 운영할 수 있다. 따라서 이를 어떻게 설정할지에..

1. Neural Network example Shallow neural networks 는 다음과 같은 함수로 나타날 수 있다. $ y= f[x, \phi] $ 여기서 $ \phi $는 multivariate x에 대해 multivariate y에 대해 mapping하는 파라미터이다. 여기서 a는 activation function이다. 가장 흔한 ReLU를 적용하면 다음과 같이 적용된다. relu를 통해 [0, 양수]로 clipping하는 효과가 있다. 이러한 방식을 통해 model을 훈련하고 Loss를 최적화하는 parameter $\phi^{hat} $을 찾을 수 있다. 3-1식을 조금 간단하게 써보면 다음과 같다. 여기서 h를 hidden units라고 칭한다. 3개의 clipped line은 ..