Hello Computer Vision

GAN에 관심가진지 한 3달 정도가 지났고 논문에 대해서도 한번 겉핥기로 본 적이 있긴한데 앞으로 더 많은 논문을 볼텐데 GAN의 시초인 이 논문을 제대로 안 볼 수 없다고 생각하여 논문을 따로 복사하여 읽었다. 중요한 부분만 소개하는 것보다 논문에서 실린 내용을 최대한 다 소개하려고 노력했다. 코드 구현은 따로 포스팅 할 계획이다. 논문 paper : https://arxiv.org/abs/1406.2661 Generative Adversarial Nets, 즉 줄여서 GAN은 2014년에 이안 굿팰로우에 의해 발표되었다. 1. Introduction 논문을 시작하면서 기존의 generative model들을 소개하면서 장애물들과 단점으로 인하여 어려움이 많았다고 소개한다. 그리고 단순히 marcov ..

GAN 논문을 보던 중 최대 우도법에 관한 내용이 잠깐 나오는데 이에 대해서 저번에 공부 한번 했던 거 같은데 다시 생각해보니 무슨 뜻인지 명확하게 생각이 나지 않았기 때문에 모르는 정보를 다시 찾고 기록하려고 한다. 제가 공부한 내용의 출처는 밑에다 다 적어놓겠습니다. 최대우도법을 왜 공부할까? 우선 다음 확률밀도함수 그래프를 살펴보자. 여러 개의 확률밀도 함수 그래프들이 그려져있다. 그리고 이러한 그래프들은 각각 다른 파라미터(μ, σ)로 이루어져있다. 그렇다면 만약 소수의 데이터만 주어진 상황에서 가장 최적의 확률밀도함수는 어떻게 구할까? 그 최적의 확률밀도함수의 파라미터 추정값들을 찾는 방법 중 하나가 Maximum Likelihood Estimation인 것이다. 예시 데이터가 {1, 4, 5,..

저번 GoogleNet에 이은 ResNet구조이다. 이전 VGGNet은 19층이상 쌓지 못했고 GoogleNet도 20층가까이 쌓았지만 그 범위에서 크게 벗어나지 못했다. 그 이유는 gradient vanishing 문제가 발생했기 때문에 깊게 쌓아도 성능이 안나왔기 때문이다. GoogleNet에서는 그나마 중간중간 분류기를 설치하여 훈련할 때 이러한 문제점을 조금이나마 해결했고 이는 몇층이상더 쌓을 수 있는 성과를 냈다. 그리고 GoogleNet보다 효과적으로 문제를 처리한 것이 ResNet이며 Imagenet대회에서 96.43%의 정확도를 기록했다. ResNet의 기본 구조는 다음과 같으며 층의 깊이가 훨씬 늘어났음을 알 수 있다. 그리고 단순히 층만 늘린 것이 아닌 성능이 좋아졌다고 한다. 이것이 ..

저번 VGGNet 에 이은 GoogleNet이다. 이 모델은 구글에서 2014년에 발표한 모델이며 Imagenet대회에서 93.3%의 정확도를 기록하였다. 모델의 특징이라고 하면은 Inception 모듈을 추가한 모델이라고 할 수 있다. 모델의 구조는 다음와 같다. 단순히 보았을 때 이전 모델들과 비교했을 때 확연히 복잡한 구조를 가지고 있는데 이를 이해하기 위해서는 모델에서 많은 부분 차지하고 있는 Inception모듈을 이해해야한다. Inception 모듈의 구조는 다음와 같다. 이전 AlexNet, VGGNet 에서는 모두 일방향으로 Layer들이 연결이 됐다면 여기서는 이전 Layer에서 여러 개의 CNN블럭들이 나뉘어져 받는 것을 알 수 있다. 모듈을 이렇게 구조화한 이유는 한마디로 다음과 같다..

저번에 썼던 Lenet(1998)과 AlexNet(2012)에 이은 CNN 모델 구조이디. 2014년에 발표된 VGGNet(2014)이다. Imagenet 분류 대회에서 92.7%를 기록하였으며 현재도 전이학습으로 많이 사용되는 모델이다. 기본 구조는 왼쪽과 같으며 층의 깊이에 따라 VGG-16, VGG-19 이렇게 나뉘어져있다. 기존 모델들과 비교해보면서 가장 쉽게 눈에 띄는 점은 일단 층의 깊이이다. 우측 이미지에서 AlexNet과 비교해보면 이 차이를 확실하게 느낄 수 있다. 이렇게 레이어를 깊게 쌓는다면 비선형성을 많이 더해질 수 있기 때문에 일정 깊이까지는 성능이 좋다. 위 이미지와 같이 커널 크기를 5x5 -> 3x3으로 변경함으로써 output으로 나오는 이미지 결과는 같지만 그 과정에 있어..

이번 동아리에서 GAN스터디에 들어갔는데 본격적으로 GAN모델들을 살펴보기 전에 CV에 관해 간략하게 스터디를 하기로 했는데 내가 담당하였다. 그래서 발표한 내용들을 중심으로 이미지 분류에서 획을 그은 모델들을 소개하려고한다. 먼저 1998년에 발표된 LeNet. 우리가 현재 쓰는 Convolutional Layer 들을 기본적으로 쌓은 모델이다. 기존에 이미지 분류를 할 때는 Convolutional Layer를 쌓는 것이 아니라 단순 Multi Linear Layer들을 쌓았다면 Lenet에서는 Conv Layer통해 이미지 분류를 하였다. Convolutional Neural Network는 기본적으로 Linear Network 보다 파라미터 계산량에서 적으며 Locality, stationarit..

GAN을 공부하다가 VAE개념을 몰라서 공부하는데 계속 나온 식이 바로 KL divergence! 그래서 정리도 할겸 이해한 내용 그대로 끄적여 볼라고 한다. ​ 들어가기 전에 사전 지식이 있어야한다. ​ 모든 정보에는 양이 있고 그 양은 모두 같은 값을 가지지는 않는다. ​ 예를 들어 '해가 동쪽에서 뜬다' 라는 정보는 너무 흔하기 때문에 정보의 양을 거의 가지지 않고 '해가 서쪽에서 뜬다'라는 정보는 흔하지 않기 때문에 많은 정보의 양​​을 가진다. ​ 표기를 해보자면 x라는 정보가 있고 y라는 정보가 있다. 이러한 정보의 확률 값을 p(x), p(y)라고 할 때 이에 대한 정보의 양을 h라 하였을 때 ​ h(x) = f(p(x)), h(y) = f(p(y)) 이렇게 임의의 함수 f를 이용하여 나타낼..