Tag ‘tracking’

모바일 AR을 위한 최신 트래킹 기술

증강현실 분야의 꽃이라고 할 수 있는 ISMAR 학회가 한달여 앞으로 다가온 가운데, 발표될 논문들의 윤곽이 서서히 드러나고 있습니다. 그중에서 가장 뜨거운 감자라고 할 수 있는 트래킹쪽 세션에서는 작년과 마찬가지로 오스트리아 TU Graz ICGDaniel Wagner가 참여한 논문이 두 편이나 선정된 모양입니다.

그중에서 역시 눈길이 가는 것은 위 동영상이죠. 지난 ISMAR 2008에서 최우수 논문상을 수상했던 모바일 폰에서의 Tracking by Detection 알고리즘이 Multiple Target Detection and Tracking이라는 이름으로 한층 더 업그레이드 되어 돌아왔습니다. 지난 달 Wagner가 한국을 방문했을 때 했던 강연에서 scalability에 대한 질문을 한 적이 있었는데요. 그에 대한 현재의 답이 될 수도 있겠습니다. 여러 객체를 동시에 인식하기 위해서는 속도가 느려질 수 밖에 없는데, 이를 피하기 위해 영상에서 이미 인식된 부분은 다음 번에 다시 처리되지 않도록 제외하는 것이 기본 아이디어인 듯 합니다. 자세한 내용은 논문이 발표되어야 알 수 있을 것 같고 일단 저 영상만으로도 충분히 자극적이네요. 최신 폰도 아니고 ASUSMEIZU의 적당한 모델을 사용하는데도 참 빠릅니다.

다른 한 편의 논문은 Full 6-DOF Localization Framework이라는 제목이 붙어있는데요. 주변 환경을 고해상도로 촬영하여 3D 점군을 생성한 다음, 이를 기반으로 모바일 폰에서 현재 바라보고 있는 위치와 방향을 정확히 계산해내는 알고리즘입니다. 자료를 만드는 방법은 PhotoSynth와 유사하고, 사용 목적은 PTAM과 비슷할 수 있겠네요. 폰에서 1초 내에 인식이 가능하다고 하니 실내 네비게이션과 같은 쪽에 유용하겠습니다.

그리고 마지막은 보너스입니다. 위의 두가지 알고리즘을 함께 확장하여 평면이 아닌 3D 객체에 대한 모델 기반 추적을 실험하고 있습니다. 아직 논문으로 정리된 내용은 아니지만 이미 안정적으로 작동하는 모습을 볼 수 있으며, PC에서는 무려 1000 FPS의 속도를 낸다고 하네요.

ARToolKit

증강현실을 접하는 개발자들이 처음 사용하는 도구로 ARToolKit을 빼놓고 얘기할 수는 없습니다. 카메라 앞에 까만색 문양이 그려진 종이를 들이대면 그 위에 보라색 상자가 나타납니다. 종이를 이리저리 움직여도 딱 붙어다니는게 영 신기하죠. 증강현실과의 첫 만남을 이렇게 시작한 분들이 많을 것입니다. 이 마술과도 같은 일을 해주는 라이브러리가 바로 ARToolKit이고, 1999년에 처음 소개된 이후 지금까지 10년 가까운 세월 동안 장수하고 있습니다. 특히 GPL로 공개된 덕분에 폭넓게 보급되어 AR의 저변을 넓히는 데 큰 역할을 하였습니다. 원작자인 Hirokazu Kato 교수가 가상현실 분야에서 가장 저명한 학회인 IEEE VR에서 올해 공로상을 수상한 이유이기도 합니다.

ARToolKit이 하는 일을 간단히 얘기하자면 다음과 같습니다. 카메라로 받은 영상을 최대한 단순화시킨 다음 사각형 테두리를 찾습니다. 원래 정사각형이지만 원근감 때문에 어딘가 찌그러진 모양으로 찍혀있겠죠. 이렇게 변형된 상태를 수식으로 풀면 바로 이 사각형 패턴과 카메라 사이의 상대적인 위치를 알 수 있습니다. 그럼 그 위에 같은 원근감이 생기도록 3차원 물체를 그려넣을 수 있게 됩니다. 빈 종이가 가상 물체와 함께 ‘증강’되는 순간이죠. 이때 사각형 안에는 서로 다른 문양이 들어갈 수 있기 때문에 여러가지 물체를 구분해서 증강할 수도 있습니다.

추억의 히로 마커 위에 흩날리는 빛알갱이들

추억의 히로 마커 위에 흩날리는 빛알갱이들

사실 증강현실이라는 단어는 “‘영상’ 위에 뭔가 집어넣는 것” 보다 훨씬 더 넓은 의미로 쓰일 수 있습니다. 다만 사람의 오감 중 제일 민감한 것이 시각이고, 또 컴퓨터가 잘 할 수 있는 부분이 영상이기 때문에 이쪽으로 부각되고 있는 것이 사실이긴 합니다. 이 부분에 대해서는 나중에 증강현실 혹은 혼합현실에 대한 개념 정리를 하면서 다시 짚어볼 수 있도록 하겠습니다.

아무튼 ARToolKit을 위시한 마커 트래킹 기법들은 간편하면서도 안정적인 성능 덕분에 실험실에서의 아이디어 프로토타입 뿐만 아니라 광고와 같은 현업에도 많이 적용되고 있습니다. 하지만 눈에 잘 띄기 위한 마커의 장점은 그대로 단점이 되어 많은 제약이 뒤따릅니다. 우리가 정보를 얻고자 하는 모든 사물에 마커를 붙일 수도 없는 노릇이죠. 그래서 요즘에는 영상 속의 마커 대신 사물 그 자체를 인식하고 추적하기 위한 연구들이 활발히 이루어지고 있습니다. 이쪽은 ‘Natural Feature Tracking’ 혹은 줄여서 NFT라고 부릅니다. 얼마 전에 소개했던 PTAM이 좋은 예가 되겠네요.

이렇게 시대가 바뀌어도 ARToolKit이 추구하였던 간편함의 미덕은 이후 그 뒤를 이으려는 여러 ‘툴킷’들의 귀감이 될 것이라 생각합니다.

iPhone에서 PTAM

최근에 나온 AR 관련 영상 중 가장 인상 깊은 것을 꼽으라고 한다면 iPhone에서 PTAM을 돌리고 있는 아래 영상을 추천하고 싶습니다.

PTAM은 ‘Parallel Tracking And Mapping’의 줄임말입니다. 여기서 mapping은 카메라를 통해 보고 있는 공간에 대한 구조를 기록하는 과정이고, tracking은 이렇게 만들어진 지도로부터 카메라의 현재 위치를 추적하는 과정입니다. 앞에 parallel이 붙은 것은 이 과정을 동시에 수행한다는 의미로, ISMAR 2007에서 Best Paper Award를 받았던 이 논문의 핵심 아이디어이기도 합니다. 매 프레임 크게 바뀌지 않는 mapping 과정에 시간을 투자하는 쓰레드와 매번 빠짐없이 신속하게 수행되어야 하는 tracking 쓰레드를 나누어서 듀얼 코어 CPU가 달린 컴퓨터로 돌리니 멋진 결과가 나와버린 것이죠.

단점이라고 한다면 시간이 지날 수록 지도의 크기가 기하급수적으로 커져 버린다는 것입니다. 학회장에서 발표될 당시에도 많은 사람들이 궁금해했던 부분이었습니다만, 몇시간씩 연속해서 넓은 공간을 대상으로 돌리기엔 아직 무리라는 답변이 돌아왔었습니다.

그런데! 2년이 지난 지금. 그 PTAM이 iPhone에서 돌아가고 있습니다. 아직 초기 단계라고 선을 긋고 있지만 프레임 저하가 거의 보이지 않는 성능은 이미 기대 이상입니다. iPhone 3G면 겨우 400 MHz짜리 ARM11 코어인데 Cortex가 달린 3GS에서는 날라다니겠네요.

물론 PTAM이 완벽한 것은 아닙니다. 지도에 표시된 지점이 무엇을 의미하는지 알아내기 위해서는 별도의 인식(recognition) 과정이 필수적이고, 앞서 언급한 확장성의 문제도 여전합니다. 물론 많은 사람들이 이미 고민하고 있으니 앞으로가 더욱 기대됩니다.