GRN(Global Response Normalization)에 대한 이해(LRN을 곁들인)

ConvNextV2 관한 논문을 읽고 있는데 저자들이 GRN을 적용시켰다고 하는데 이를 한번 가볍게 이해해보고자 기록으로 남기려 한다.

$다른 분들의 도움을 받을라 했는데 다른 포스팅들이 없어 순전히 논문 설명만을 기대었습니다$

 

이전에 AlexNet에서 LRN$Local Response Normalization$이 쓰인적이 있던 것이 기억났다.

기억이 잘 나지않아 다시 한번 살펴봤는데 활용요소는 비슷한 거 같아서 GRN이해를 위해 설명 해보려고 한다.

 

LRN이란?

Local Response Normalization의 줄임말이다.

다른 분들의 글들을 보면 다음과 같은 그림으로 설명한다.

 

그림을 잘 보면 검은색 사각형들이 다수 포진해있는걸 확인할 수 있는데 이러한 검은색 도형들로 인해

사이사이에 있는 회색 모양들이 잘 보이지 않는다. 이러한 현상을 CNN에도 적용한다면

강한 특징들이 있다면 그 주위에 있는 약한 특징들이$중요할 수도 있는$ 두드러지지 않을 수 있다.

또한 AlexNet에서는 ReLU를 사용하기 때문에 높은 input이 들어와도 그대로 내보내기 때문에

강한 특징이 들어온다면 이러한 특징을 주위 값들을 고려해 억제하는 것이 LRN이다.

 

GRN이란?

Global Response Normalization의 줄임말이다.

GRN을 쓴 목적은 "feature collapse" 를 없애기 위해서 사용했다고 합니다.

feature map사이에서 어느 픽셀은 너무 santurate하고 어느 픽셀은 dead한 것이 많다고 합니다.

그 결과를 이러한 표를 활용해서 보여줍니다.

따라서 이러한 현상을 줄이기 위해 GRN을 사용한다고 합니다. 결국 쓰는 목적은 LRN과 비슷한 거 같습니다.

적용되는 형태 또한 LRN과  비슷하지만 조금 더 간단하게 수행됩니다.

 

3차원의 이미지를 1차원의 벡터로 변환후 각 채널의 값을 전체 값의 L2 norm을 이용해 정규화 해줌을 알 수 있다.

논문에 나온 알고리즘은 다음과 같다.

 

---

 

최근 논문이어서 그런지 GRN에 대한 설명이 없어 한번 알아봤는데요, 틀린 점이 있다면 지적바랍니다.