목록Beit (1)

Hello Data

비전공생의 BEiT(2021) 논문 리뷰

논문의 풀 제목은 BEiT: BERT Pre-Training of Image Transformers 이다. https://arxiv.org/pdf/2106.08254.pdf 지난번 MAE 에 이은 BEiT논문 리뷰인데 구조자체와, 메커니즘은 비슷한 거 같다. 그러나 유명한 논문이기 때문에 한번 정리하고 싶은 마음이 커서 읽어보려고 한다. Introduction Transformer는 비전분야에서 큰 성과를 냈지만 이러한 성과에는 CNN보다 많은 training data가 필요하다고 한다. 그렇기 때문에 이러한 데이터 문제를 해결하기 위해 SSL방법을 transformer에 접목시키자 한다. 같은 시기 masked language model인 BERT가 좋은 성능을 내었는데 이에 저자들은 denoising..
Self,Semi-supervised learning 2023. 5. 24. 15:28
이전 Prev 1 Next 다음