비전공생의 Auxiliary Tasks in Multi-task Learning

논문에서 가끔 Auxiliary task라는 용어를 보았고 task를 잘 정해 수행한다면 좋은 결과를 내지 않을까 생각해서 한번 찾아보았다. 논문이 길지 않은 것도 있지만 내가 원하는 결과만을 압축해서 요약해보았다.

https://arxiv.org/pdf/1805.06334.pdf

 

Introduction

MTL은 하나의 input에 대하여 여러 output을 산출하는 방식이다(논문에서는 구체적인 작업을 언급하기는 하지만 내 관심사는 아니라서 제외하였다). 그리고 auxiliary task를 소개하는데, image에 대한 rich, robust common representation을 제공할 수 있다고 하며 main task를 푸는데 도움이 될 수 있다고 한다. 이를 시각화해보면 다음과 같다.

위 이미지는 저자가 2개의 MTL에 대하여 더 잘 수행하기 위해 2개의 auxiliary task를 추가한 것이다.

 

Experiments and Results

main task 이외에도 auxiliary task를 수행하는 것은 일종의 regularizer 역할을 할 수 있다고 한다. 또한 결과적으로는 성능이 좋다고 하지만 task를 선정할 때는 신중하게 골라야한다고 한다(당연한게 MTL을 수행할 때도 서로 관련있는 task를 수행해야 한다).

위 table이 결과인데 아쉬운건 그냥 단순 MTL을 진행했을때와 비교 관련 표는 없다. 그러나 잘 알 수 있는 것은 auxiliary task도 잘 수행한 것을 알 수 있는데, 이는 이미지에 대한 충분한 이해를 했다고 볼 수 있다.