Hello Data

https://arxiv.org/pdf/1802.07934v2.pdf SSL을 segmentation에 적용하고 싶어서 읽을 첫 논문이다. 시험기간인데 공부안하고 논문 읽어 버리기~ Introduction FCN 방법과 추가적인 모듈은 semantic segmentation 에서 SOTA를 달성했지만, task 자체가 각 픽셀당 정확한 클래스로 분류해야 하므로 정확하고 많은 pixel annotation 데이터를 필요로 한다고 하며 이는 비용이 많이 든다. 따라서 이러한 문제를 해결하기 위해서 semi/weakly supervised method를 사용하는 것이 도움이 된다고 한다. 따라서 이 논문에서는 이 시기에 성공을 거둔 GAN을 활용하려는 시도를 한다. 기존의 GAN은 2개의 network로 이루..

V = [] x, y = np.meshgrid(range(9), range(6)) #world point격자 생성(체스보드는 2D로 보기때문에 2D 월드좌표계) world_points = np.hstack((x.reshape(54, 1), y.reshape(54, 1))).astype(np.float32) #(x,y)좌표 쌍 생성 world_points = world_points*21.5 # rectangular size 21.5를 곱해 실제 체스보드처럼 world_points = np.asarray(world_points) images_points = [] homography_matrices = [] for imagepath in image_path: image = cv2.imread(imagepath..

https://arxiv.org/abs/2009.13120 Medical Image Segmentation Using Deep Learning: A Survey Deep learning has been widely used for medical image segmentation and a large number of papers has been presented recording the success of deep learning in the field. In this paper, we present a comprehensive thematic survey on medical image segmentation u arxiv.org 이번에 medical semantic segmentation 관련 공부를 ..

논문의 풀 제목은 SimMIM: a Simple Framework for Masked Image Modeling이다. 기존 MAE와 비슷한 시기에 나온 논문 같고 비슷한 방식으로 SOTA를 이루어서 한번 읽어보려고 한다. https://arxiv.org/pdf/2111.09886.pdf Introduction Masked signal modeling 방법은 input에 대해 일정 부분을 masking하고 이를 예측하는 작업이다. 이는 NLP에서 큰 성공을 거두고 여러 분야에 응용되지만 비전 분야에서는 그렇지 못했다고 하는데 저자들은 NLP와 CV의 3가지 차이점으로 보았다. 1. 첫번째는 locality이다. 각 픽셀들은 옆 픽셀들과 이웃해있고 연관성이 높기 때문에 semantic reasoning을 하..

논문의 풀 제목은 SegFormer: Simple and Efficient design for Semantic Segmenetation with Transformer이다. https://arxiv.org/pdf/2105.15203.pdf 이번에 아는 분들이랑 kaggle 에서 열리는 메디컬 segmentation 경연을 나가게 되어 관련 논문을 읽으려고 하는데 해당 모델이 성능이 좋다해 읽어보려고 한다. Introduction semantic segmentation은 image classification과 밀접한 관련이 있기 때문에 기존의 segmentation의 SOTA를 찍은 구조들은 imageNet에서 좋은 성능을 보인 구조들이었다고 합니다(VGG, ResNet). 또 다른 방법으로는 dilated..

논문의 풀 제목은 BEiT: BERT Pre-Training of Image Transformers 이다. https://arxiv.org/pdf/2106.08254.pdf 지난번 MAE 에 이은 BEiT논문 리뷰인데 구조자체와, 메커니즘은 비슷한 거 같다. 그러나 유명한 논문이기 때문에 한번 정리하고 싶은 마음이 커서 읽어보려고 한다. Introduction Transformer는 비전분야에서 큰 성과를 냈지만 이러한 성과에는 CNN보다 많은 training data가 필요하다고 한다. 그렇기 때문에 이러한 데이터 문제를 해결하기 위해 SSL방법을 transformer에 접목시키자 한다. 같은 시기 masked language model인 BERT가 좋은 성능을 내었는데 이에 저자들은 denoising..

https://arxiv.org/abs/2305.00729 What Do Self-Supervised Vision Transformers Learn? We present a comparative study on how and why contrastive learning (CL) and masked image modeling (MIM) differ in their representations and in their performance of downstream tasks. In particular, we demonstrate that self-supervised Vision Transformers (Vi arxiv.org 최근 ICLR 2023에 어셉된 논문이고 SSL분야에서의 contrastive(이하 ..

SSL을 contrastive부터 공부하면서 최근 트렌드인 MAE까지 도착했네요.. 아직 안읽은 논문들도 많을 것이라 생각하지만 지금껏 읽어왔던 것처럼 천천히 다 읽는 것을 목표로 해보겠습니다. https://arxiv.org/abs/2111.06377 Masked Autoencoders Are Scalable Vision Learners This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pi..