Hello Computer Vision

Understanding Deep Learning을 읽는데 따로 할애한다면 나에게 도움이 될 거 같아 읽어보려고 한다. 처음 시작은 2장인 Supervised Learning부터이다. 1. Supervised learning overview 지도학습에서는 x -> y로 가 되는 mapping을 모델이 찾도록 목표로 한다.이를 표기로 하면은 y = f(x)이고 f는 x를 input으로 받고 y를 output으로 뱉는 모델이다. 이렇게 우리가 input으로부터 y를 예측하는 것을 inference라고 한다. 모델은 parameters 를 가지는데 어떠한 파라미터 집합을 가지느냐에 따라 input - output에 대한 관계가 달라질 수 있다. 한번 이를 나타내보면 $y = f[x , \phi ]$ 라고 할 ..

논문의 풀 제목은 Sharpness-Aware minimization for efficient improving generalization이다. https://openreview.net/pdf?id=6Tm1mposlrM Introduction 많은 머신러닝 모델들이 general하게 훈련되어야 하지만 사실은 오버피팅 된다고 한다. 그러므로 training set을 넘어서 generalize하게 만드는 procedure가 필수적이라고 언급한다. 아쉽게도 일반적으로 사용되는 손실함수들은(e.g., cross-entropy) generalization하기에는 충분하지 않다고 한다(항상 상기해야할 부분은 우리는 training 데이터셋에 대해서 손실함수를 최소로 하는 것이 목적이 아니라 Real world da..

https://arxiv.org/pdf/2007.08176.pdf 논문의 풀 제목은 CSI: Novelty detection via Contrastive Learning on Distribtuonally shifted instances이다. Introduction (해당 논문에서는 OOD detection과 novelty detection이란 용어를 같은 용어로 보고 사용하였다) 일반적으로 OOD detection문제에서 training sample들에 한해 접근한 후 OOD 데이터들을 분리하려고 했다.그러나 OOD space는 굉장히 크다.그러므로 specific OOD 데이터로 샘플링을 하는 것은 detector로 하여금 bias가 생길 수 있다고 한다주로 OOD task에서의 관심은 1. model..

2-1-1. What is probability? 코인 토스에 대한 확률을 말할 때 50%라고 말하기 쉽다. 그러나 확률은 2가지 관점으로 말할 수 있다. 하나는 frequentist 적인 해석이다. 이러한 관점으로 볼 때 확률은 사건에서의 long run frequencies를 나타낸다. 두번째 관점은 Bayesian 으로 보는 것이다. 이러한 관점에서 우리는 확률을 uncertainty 를 수량화할 수 있다. 그러므로 이것은 단순히 반복되는 시도들 보다는 정보들과 근본적으로 연결되어 있다(단순히 frequency 관점으로 보는 것보다 Bayesian 관점으로 보는 것이 더 유용하다는 것을 말하는 거 같다). 예를 들어 우리가 만약 남극의 얼음이 2030년에 다 녹는다는 것을 확률로 생각해보았을 때 이..

논문: https://arxiv.org/pdf/1711.09325.pdf Introduction 딥러닝 모델이 좋아질수록 해당 모델들의 uncertainty를 측정하는 것도 어려워졌을 뿐더러 over confidence issue가 커졌다고 한다. 이 over confidence issue는 test sample이 OOD인지 아닌지 검출하는데 매우 중요하다. 기존 방법의 confidence score를 측정하는 방법은 (e.g. MSP) threshold를 사용하여 해당 값을 넘으면 1(normal) 넘지 못하면 0(anomaly)라고 분류하였다. 이러한 추론 방식이 매우 간단하지만 이러한 방식은 분류기의 성능에 매우 민감하다고 한다. 이상적으로는 분류기가 모든 ID 데이터와 OOD데이터를 훈련해서 분류..

논문: https://arxiv.org/pdf/1906.02694.pdf Introduction 해당 이미지의 decision boundary를 보면 알 수 있듯이 semi supervised방법을 썼을 때 조금 더 나은 boundary를 보여줌을 알 수 있다. 제목에서 알 수 있듯이 여기서는 one class classification을 수행하는 것이다. 즉 모델로 하여금 normal class에 대하여 학습시키는 것이다. 그리고 기존의 deep 한 구조를 가진 semi supervised 방법을 사용한 것도 잇었으나 domain specific 했다고 한다. Deep semi supervised Anomaly detection 여기서는 먼저 SVDD(Support Vector Data Descript..

1-1. What is machine Learning? 컴퓨터 프로그램은 경험(E)을 통해 무언가의 태스크(T)를 학습하고 어느 정도의 성과(P)를 내게 되는데 T에 대한 성과 P를 E를 통해 향상시켜간다. 따라서 이 세상에는 T에 따른 많은 머신러닝 방법들이 있다. 여기서는 많은 종류의 ML을 커버하지만 probabilistic 관점(perspective)에서 다룬다. 이러한 관점으로 다루는 이유는 첫번째로 불확실성 속의 의사결정을 하는데 가장 최적의 접근이며 확률적 접근은 과학과 엔지니어링 분야에의 언어라고 할 수 있다. 1-2. Supervised learning ML에서의 가장 흔한 방법은 supervised learning이다. T는 x -> y로 가는 매핑을 배우는 f를 배우는 것이다. 이 x..

대학원 진학을 위해 교수님과의 컨택을 하는 도중 운이 좋게도 교수님과 스터디할 기회를 얻었고 Kevin Murphy의 Machine Learning 책을 토대로 진행합니다. 따라서 Introduction부터 차례차례 공부를 해보려고 합니다.