Camera calibration을 위한 여러가지 용어 정리

이번에 vision 관련된 스터디를 하는 중 camera calibration에 대해서 공부하는 중인데 많은 용어들이 직관적으로 이해는 되지만 더 정확히 할 필요가 있겠다 생각해 하나씩 정리해보려고 한다. 아래의 이미지에 나온 용어들을 일단 설명해보려고 한다.

그림1

이미지 평면(image plane)

이미지가 투영되는 평면이다.

현실세계에서의 이미지들은 3D 이고 이러한 것들을 사진 찍는다면 2D 평면에 사영한다고 할 수 있다. 위의 이미지를 보면 조금 더 쉽게 이해할 수 있는데 P 라는 이미지가(3D) 있다면 렌즈를 통해 초점을 맞춰 사영되는데 이것이 Image plane이라 할 수 있다.

 

월드좌표계 

3차원 좌표계이다. 사물의 위치를 표현할 때 기준으로 삼는 좌표계이다. 정해져 있는 것이 아닌 우리가 임의로 잡아서 사용할 수 있는 좌표계이다. 예시를 들어보면 내가 지금 앉아있는 책상의 왼쪽 상단을 기준으로 X,Y,Z 축을 잡을 수도 있고 오른쪽 하단을 기준으로도 축을 잡을 수 있다. 표기는 다를 수 있지만 P = (X, Y, Z)로 나타낼 수 있다.

 

카메라 좌표

위에서 설명한 카메라 좌표계를 우리가 임의로 잡은 한 지점으로 설정할 수 있다면 카메라 좌표계는 카메라를 기준으로 한 좌표계이다. 카메라의 초점을 원점, 카메라의 정면 방향을 Z축, 아래쪽 병향을 Y축, 오른쪽 방향을 X축으로 잡는다. 다만 기호로 X,Y,Z를 쓰게 된다면 월드 좌표계와 겹치므로 $P_{c} = (X_{c}, Y_{c}, Z_{c})$ 로 나타낼 수 있다.

그림2

픽셀좌표계

보통은 영상좌표계라고불린다. 우리가 실제 눈으로 보는 영상에 대한 좌표계로서 그림1에서 나온 것처럼 왼쪽 상단 모서리를 원점으로 잡고, 오른쪽 방향을 x축 증가방향, 아래쪽 방향을 y축 증가방향으로 한다. 그리고 이러한 픽셀좌표계의 x,y 축으로 정의된느 평면을 위에서 정의한 이미지 평면(image plane)이라고 한다. 기호로는 $p_{img} = (x, y)$ 로 나타낼 수 있다.

 

일상생활의 한 물체 P(X, Y, Z)가 카메라의 초점을 지나 이미지 평면의 한 점 $p_{img} = (x, y)$ 로 투영되는데, P와  p를 잇는 선상에 있는 모든 3D 점들은 p로 투영된다. 따라서 실제세계 P로부터 p는 유일하게 결정되지만 p로부터 P를 구하는 것은 부가적인 정보 없이는 불가능하다.

 

정규좌표계

카메라의 내부 파라미터(Intrinsic parameter)의 영향을 제거한 이미지 좌표계이다. 또한 좌표계의 단위를 없앤(정규화된) 좌표계이며 카메라 초점과의 거리가 1인 가상의 이미지 평면을 정의하는 좌표계이다. 같은 물체를, 같은 자리, 각도에서 찍는다 하더라도 사진은 카메라의 내부 파라미터 세팅에 따라 다른 사진을 얻게된다. 이미지를 기하학적으로 해석하려는 시도를 할 때 '이 이미지는 카메라의 조리개를 ~하게 맞추고 초점거리를 ~하게 맞추었다' 라고 할 수 있는데 이러한 해석이 불필요하다고 생각한 것이다. 따라서 이러한 영향을 없애고자 기존의 이미지 평면은(image plane) 카메라 초점과의 거리가 1인 지점으로 옮겨놓은 이미지 평면인 것이다(굳이 1인지는 잘 모르겠지만 1로 놓으면 거의 영향이 없다고 보는 거겠지?). 정규좌표계의 원점은 픽셀좌표계와 다르며 정규좌표계의 중점은 정규 이미지 평면의 중점이다(그림1). 기호로는  $p'(u, v)$ 로 나타낼 수 있다.

 

카메라 내부 파라미터를 안다면 픽셀좌표계와 정규 좌표계와 관계를 다음과 같이 표현할 수 있는데 $p_{img} = Kp'$

fx, fy 는 초점거리이며 cx, cy는 주점이다(이에 대한 설명은 뒤에 해놓았습니다).  

 

식들을 전개한다면 이렇게 픽셀 좌표계 (x,y) 에 해당하는 정규좌표계들을 표현할 수 있다.

 

 

Focal length(초점거리)

초점거리는 렌즈 중심에서 이미지 센서(CCD, CMOS etc)까지의거리이다. fx, fy로 주로 표현한다.

 

Principal point(주점)

카메라 렌즈 중심의 x, y 좌표이다. 보통 cx, cy로 표현한다.

 

---

References

https://darkpgmr.tistory.com/32