Hello Data

2021년 나온 SegFormer가 성능이 가장 좋아서 이전에 리뷰한 이후 model 에 대한 논문은 딱히 읽지 않았는데 그래도 유명한 모델이라 한번 읽어보려고 한다. 읽으니 새로운 구조와 정보들이 재밌었다. https://arxiv.org/pdf/1807.10165.pdf Introduction 이 논문 이전까지 SOTA를 이룬 구조는 U-Net과 FCN이라고 한다. 그리고 이러한 Encoder-Decoder 구조의 segmentation모델들은 중요한 공통점을 공유하는데 그것은 skip-connection이다. skip connection은 decoder에서 나온 deep, semantic, coarse-grained feature maps과 encoder에서 나온 shallow, low-level,..

논문의 풀 제목은 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence 이다. MixMatch 라는 논문도 있었는데 FixMatch가 더 나중에 나온 논문이고 인용수도 많아 우선 이걸 읽을라고 한다. https://arxiv.org/ftp/arxiv/papers/2001/2001.07685.pdf Introduction 딥러닝 모델들은 높은 성과를 이룰려면 많은 데이터가 필요하다고 한다. 당연하게도 일일이 annotated 된 데이터들의 cost는 높다. 그러나 unlabeled 데이터들은 적은 노력으로도 얻을 수 있기 때문에 semi / self supervised learning에 의한 성능 상승은 low cost..

논문의 풀 제목은 PseudoSeg: Designing pseudo labels for semantic segmentation이다. 지난번 Pseudo label 관련해서 논문을 읽었었는데 연장선으로 한번 읽어보려고한다. https://arxiv.org/pdf/2010.09713.pdf Introduction pixel 단위로 annotation을 해주어야 하는 semantic segmentation은 비용이 상당히 든다고 한다. 그리고 데이터가 한정된 상황에서의 segementation 모델의 성능은 굉장히 떨어진다고 한다(여기서 low data regime 이라는 말이 나오는데 처음보는 용어인데 직관적으로 데이터가 적다 라고 해석하였다). 따라서 저자들은 data-efficient segmentati..

이번에 Pseudo segmentation 논문을 읽으면서 Grad-CAM 에 대한 내용이 나오는데 읽어야 잘 이해할 수 있겠다고 생각해서 공부해보려고 한다. 논문을 읽을까 생각했는데 자세히 나와있는 포스팅이 많아서 참고하였다. 해당 내용에 대한 참조는 아래 있습니다. CAM이란? https://arxiv.org/abs/1512.04150 Learning Deep Features for Discriminative Localization In this work, we revisit the global average pooling layer proposed in [13], and shed light on how it explicitly enables the convolutional neural network..

이번에 아는 분들이랑 대회를 참여하고 있는데 나는 개인 GPU가 없다보니 base line에서 어떤 변화가 더 좋은지 알아보는 역할을 맡았는데 다른 분들이 코드 관련해서 이야기하는데 DP, DDP 이야기를 하더라. 무의식적으로 병렬처리 관련된 이야기인줄은 알았지만 제대로 알 수 없어 이번 기회에 한번 공부해보려고 한다. 해당 내용에 대한 참조는 글 밑에 있습니다. DP(Data Parallelism)란? 텐서플로는 모르겠지만 torch에서는 torch.nn.DataParallel 로 작동이 가능하다. 이러한 과정에서도 Forward Pass(데이터를 처리 및 loss발생)와 Backward Pass(gradient계산)으로 나뉜다. Forward pass 이를 한번 단계별로 설명해보자면 1. mini b..

해당 논문에 대한 흥미를 느껴 코드를 한번 살펴보려고 한다. 논문에 대한 리뷰는 다음과 같다. https://keepgoingrunner.tistory.com/146 비전공생의 Adversarial Learning for Semi supervised Semantic Segmentation(2018)논문 리뷰 https://arxiv.org/pdf/1802.07934v2.pdf SSL을 segmentation에 적용하고 싶어서 읽을 첫 논문이다. 시험기간인데 공부안하고 논문 읽어 버리기~ Introduction FCN 방법과 추가적인 모듈은 semantic segmentation 에서 SOTA를 keepgoingrunner.tistory.com https://github.com/hfslyc/AdvSemiS..

이번에 읽어볼 논문의 풀제목은 Pseudo label: The simple and efficient semi supervised learning method for deep neural networks 이다. https://www.researchgate.net/publication/280581078_Pseudo-Label_The_Simple_and_Efficient_Semi-Supervised_Learning_Method_for_Deep_Neural_Networks 논문이 아카이브에 등록되지 않은 거 같다.. Introduction 2013에 씌여진 논문인 만큼 신경망 학습이 굉장히 좋은 결과를 내었다는 것을 소개한다. 또한 이러한 결과들은 2가지 phase에 따라 성능이 올라갔다고 하는데 1. unsu..

https://arxiv.org/pdf/1703.01780.pdf 논문의 풀 제목은 'Mean teachers are better role models: Weight averaged consistency targets improve semi supervised deep learning results' 이다. Mean teacher 방법론의 원조 논문 같아서 한번 읽어보려고 한다. Introduction 딥러닝 모델들은 많은 파라미터를 필요로 하는데 이는 over-fitting 이 되는 원인이라고 한다. 따라서 regularization method를 통해 이를 방지하는 것이 좋다고 서두에 말한다. ex) dropout, noise 그러나 noise를 추가하는 것은 semi supervised learni..