일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- WGAN
- mme paper
- UnderstandingDeepLearning
- Entropy Minimization
- shrinkmatch
- shrinkmatch paper
- cifar100-c
- 컴퓨터구조
- remixmatch paper
- semi supervised learnin 가정
- GAN
- ConMatch
- Pix2Pix
- dcgan
- CGAN
- CoMatch
- mocov3
- SSL
- tent paper
- 딥러닝손실함수
- dann paper
- 백준 알고리즘
- Pseudo Label
- 최린컴퓨터구조
- simclrv2
- BYOL
- adamatch paper
- conjugate pseudo label paper
- Meta Pseudo Labels
- CycleGAN
- Today
- Total
목록Self,Semi-supervised learning (53)
Hello Computer Vision
https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org BeiT나 SSL 관련 논문을 ..
지난 번 MoCo에 이은 SimCLR논문 리뷰! 논문의 이름은 A Simple Framework for Contrastive Learning of Visual Representations이다. 논문 말 그대로 네트워크가 정말 간단하지만 대신 그 외적으로 증강방법, loss, batch size 등을 많이 신경쓴 것을 알 수 있다. Introduction 기존의 방법들을 소개해주는데, Generative 방법은 비용이 비싸며, representation learning에 굳이 필요하지 않으며, Disriminative 방법은 supervised learning과 비슷한 구조를 가지지만 unlabeld dataset으로 훈련시킨다고 합니다(이 부분에 대해서는 자세히 안나와있는데 효율적인 방법이 아니라는걸 설..
SSL 첫 논문 리뷰 대상은 MoCo 이다. 어디서부터 논문을 읽어야할지 감은 안잡혔지만 Moco -> SimCLR -> BYOL 순으로 대표적인 논문들만 읽어볼 예정이다. Introduction 이전 비전 분야에서 unsupervised learning이 NLP 분야만큼 나오지 않은 이유는 표현들이 더욱 continuous, high-dimensional 등등의 이유라고 말한다. 그러나 contrastive loss가 등장하면서 최근의 발전을 이루고 있는데 추가로 활용하는 것이 dynamic dictionary이다. dictionary 안에는 query이미지에 대한 key 이미지들이 있으며 이미지 query 에 대해서 similar / dissimilar 을 계산하게 된다. 논문에서는 이 diction..
이번에 SSL도 공부하면서 흥미가 생긴 few-shot learning, zero-shot learning 등 많은 곳에서 유사도를 훈련하는 contrastive 를 활용하는 것들이 많이 나오길래 한번 짚고 넘어가보려고 한다. 본 포스팅은 논문을 보지 않고 여러 글들을 참고하여 개인적인 이해를 담았습니다. 참조한 글들은 아래 남겨두었습니다. Contrastive Learning(이하 CLR)이란 무엇인가? self-supervised learning(이하 SSL)의 일종으로 데이터에서 서로 두 데이터간의 특징들의 비교를 통해 학습하는 방법 SSL은 별도의 라벨링을 하지 않고 기존의 feature들을 이용하는 것이므로 SSL의 방법 중 하나라고 할 수 있다. 기존의 SSL이 무엇인가에 대한 글에서 사람과 ..
이번에 컴퓨터비전의 여러가지 분야들을 하나씩 찍먹해보면서 공부하는 도중에 Self-supervised Learning(이하 SSL)에 대해 흥미가 생겨 공부를 조금 해보았다. 지도학습과 비지도학습 같은 경우 한번에 이해가 되는 반면에 SSL같은 경우 개념은 이해가 됐지만 구체적인 훈련방법이나 예시들이 잘 나와있지 않아 피상적으로 이해되고 정확히 알 수 없었다. 그래서 여러 글을 찾아보면서 추천해주는 논문을 읽었는데 해당 논문은 https://arxiv.org/pdf/1902.06162.pdf 이다. 그리고 이 글도 참조한 여러 글과 이 논문을 바탕으로 기록해보려고 한다. 논문에서는 정적인 이미지 뿐만 아니라 영상 데이터도 다루었으나 글에 쓰여진 내용은 영상관련은 포함하지 않았습니다. (여러 글들을 보고 ..