Region proposal 공부해보기(sliding window, selective search)

이번에 object detection 모델들을 공부해보면서 기본이라고 할 수 있는 Region proposal 방법들을 기록해보려고 한다.

 

객체탐지는 기존의 분류문제에서 한단계 더 어려운 과제로 다양한 물체가 존재할 수 있는 이미지에 대해서

각 이미지에 대해 분류작업과 그 물체가 어느 곳에 존재하는지에 대한 bounding box를 그려야한다.

 

각 물체마다 크기와 모양이 다르기 때문에 이는 사실 컴퓨터가 알아서 하기에는 보기에도 정말 어려워보인다

이러한 어려움에 맞서 우선 어느쪽에 이미지가 있을지 컴퓨터가 계산해볼 필요가 있는데 이러한 방법들이 Region proposal이다. 더 많은 기법들이 있겠지만 지금은 sliding window 방식과 selective search 방식을 알아보려고 한다.

 

Sliding window 방식이란

이 용어는 CNN을 공부하는 사람들에게는 사실 익숙하다. 이미지의 끝에서부터 끝까지 kernel이 흝는 과정을 말하기 때문이다.

크게 다른 것 없이 이미지를 흝는 거지만 하나 다른 점이라 한다면 물체가 어느 크기로, 모양으로 있을지 모르므로

아주 다양한 bounding box를 치면서 물체를 흝는 것이 특징이다. 크기가 고정되어있으면 모를까 다양한 크기로 이미지를 흝는 것이기 때문에

생각만해도 엄청난 연산량이 필요할 것 같다.

 

Selective Search란

이러한 연산량을 보완하기 위해 나온 것이 Selective search이다. 이 방법은 R-CNN과 Fast R-CNN에서 사용되었다.

sliding윈도우 방식을 알아볼 때 많은 연산량이 걱정된다고 말했는데 selective search에서는 이것을 일정한 수로 상한을 두며

인접한 영역끼리의 유사도를 계산해 큰 영역으로 통합해 나가는 것이 특징이다. 다음 이미지가 이를 잘 나타내준다.

첫번째 사진에서의 다양한 영역들을 점차 통합해나가는 것이다.

R-CNN모델에서는 초기 2000개의 가장 물체가 있을 법한 영역들을 골라서 훈련을 하였다.

그리나 selective search는 CPU위에서 작업할 수 있도록 되어있어 이 또한 속도가 느리다는 단점이 있다.