18. MAXST VPS 위치 인식

안녕하세요, MAXST CTO 조규성입니다.

이번 글에서는 모바일 기기에서 MAXST VPS를 통해 어떻게 위치 인식을 하고 AR 콘텐츠를 렌더링 하는지 설명하고자 합니다.

그림 1. MAXST VPS 모바일 기기 위치/각도 인식

MAXST VPS는 그림 1의 과정을 거쳐 모바일 기기(예를 들어 스마트폰, AR 글래스, 로봇, 드론)의 3차원 자세(pose)를 인식합니다. 3차원 자세란 3차원 공간 상에서 위치와 각도를 의미합니다. 3차원 자세는 ‘6 DOF 자세’라고도 표현하며 AR 콘텐츠를 렌더링하기 위해서 필요한 값이고 끊김 없는 렌더링을 위해서는 1초에 30번 이상 3차원 자세가 계산되어야 합니다.

MAXST VPS는 AR 글래스와 스마트폰 같이 디스플레이가 장착된 기기에서 모바일 AR을 위해 사용될 수 있고 로봇과 드론 같이 움직이는 모바일 기기에서 자율 주행 혹은 관제를 위해서 사용될 수 있습니다. 모바일 기기에서 2~3초에 한 번씩 VPS 서버에 카메라 영상을 전송합니다. VPS 서버는 상용 클라우드 혹은 온프라미스(on-premise)에서 운용될 수 있습니다. VPS 서버는 영상에서 특징점을 추출합니다. 영상의 특징점들은 VPS 서버의 해싱(hashing) 구조를 통해 빠른 속도로 3차원 점군과 매칭됩니다. 매칭쌍 중에는 잘못된 매칭도 포함되어 있기 때문에 올바른 매칭쌍만 필터링하는 과정을 거칩니다. 그리고 올바른 매칭쌍에 대해서 PnP와 같은 알고리즘을 적용하여 카메라 영상의 VPS 공간맵 상에서의 3차원 자세를 계산합니다.

이렇게 계산된 초기 자세는 특징점 추출과 매칭 시에 발생되는 로컬라이제이션(localization) 오차가 반영되어 있어 정밀도가 상대적으로 낮습니다. 디스크립터는 잘 인식될 수 있도록 텍스처 그 자체가 아닌 그래디언트(gradient) 성분을 사용하는 경향이 있습니다. 이 때문에 디스크립터는 영상에서 아주 정밀한 위치가 아니더라도 특징점 부근이라면 매칭될 수 있고 이는 로컬라이제이션 오차를 발생시키는 요인으로 작용합니다. VPS 서버에서는 로컬라이제이션 오차를 개선하기 위해 초기 자세를 시작점으로 ‘정밀자세계산’ 단계를 수행합니다. 이 때는 디스크립터를 사용하는 것이 아니라 특징점 주변의 텍스처 그 자체를 사용해서 6 DOF 자세를 계산합니다. 최종적으로 입력된 카메라 영상의 VPS 공간맵 상에서 글로벌 6 DOF 자세가 계산됩니다. 이 자세는 다시 모바일 기기로 전달됩니다.

서두에서 언급한 바와 같이 AR렌더링을 위해서는 30 Hz 이상의 속도로 모바일 기기의 6 DOF 자세를 알아야 합니다. 하지만 2~3초에 한 번씩 VPS 서버에서 계산된 자세를 가지고 렌더링한다면 해당 AR 서비스의 사용자 경험은 그다지 좋지 않을 것입니다. 30 Hz 이상으로 6 DOF 자세를 계산하기 위해서는 모바일 기기에서는 SLAM이 동작하고 있어야 합니다. SLAM으로는 Apple사의 ARKit을 사용할 수도 있고, Google사의 ARCore를 사용할 수도 있습니다. 이 두 SLAM이 동작하는 환경이 아니라면 MAXST의 MAXST SLAM을 사용할 수도 있습니다. 모바일 기기에서 SLAM을 사용할 경우, SLAM 시작 위치가 공간 좌표계의 기준이기 때문에 매번 공간 좌표계가 다릅니다. 모바일 기기 내에서 계산된 SLAM 좌표계 기준 6 DOF 자세는 VPS 서버가 계산한 자세와 결합되어 최종적으로는 30 Hz 이상의 속도로 VPS 공간맵 상 6 DOF 자세로 출력이 됩니다.

AR 콘텐츠 개발사는 VPS 공간 좌표계를 기준으로 가상 콘텐츠를 배치하고 MAXST VPS를 사용하게 되면 원하는 위치에서 AR 콘텐츠를 증강시킬 수 있습니다.

다음 편에서는 MAXST VPS 맵 구축 파이프라인에 대해서 알아보도록 하겠습니다.

감사합니다.

Learn more: developer.maxst.com / maxst.com