Tag ‘Daniel Wagner’

모바일 AR을 위한 최신 트래킹 기술

증강현실 분야의 꽃이라고 할 수 있는 ISMAR 학회가 한달여 앞으로 다가온 가운데, 발표될 논문들의 윤곽이 서서히 드러나고 있습니다. 그중에서 가장 뜨거운 감자라고 할 수 있는 트래킹쪽 세션에서는 작년과 마찬가지로 오스트리아 TU Graz ICGDaniel Wagner가 참여한 논문이 두 편이나 선정된 모양입니다.

그중에서 역시 눈길이 가는 것은 위 동영상이죠. 지난 ISMAR 2008에서 최우수 논문상을 수상했던 모바일 폰에서의 Tracking by Detection 알고리즘이 Multiple Target Detection and Tracking이라는 이름으로 한층 더 업그레이드 되어 돌아왔습니다. 지난 달 Wagner가 한국을 방문했을 때 했던 강연에서 scalability에 대한 질문을 한 적이 있었는데요. 그에 대한 현재의 답이 될 수도 있겠습니다. 여러 객체를 동시에 인식하기 위해서는 속도가 느려질 수 밖에 없는데, 이를 피하기 위해 영상에서 이미 인식된 부분은 다음 번에 다시 처리되지 않도록 제외하는 것이 기본 아이디어인 듯 합니다. 자세한 내용은 논문이 발표되어야 알 수 있을 것 같고 일단 저 영상만으로도 충분히 자극적이네요. 최신 폰도 아니고 ASUSMEIZU의 적당한 모델을 사용하는데도 참 빠릅니다.

다른 한 편의 논문은 Full 6-DOF Localization Framework이라는 제목이 붙어있는데요. 주변 환경을 고해상도로 촬영하여 3D 점군을 생성한 다음, 이를 기반으로 모바일 폰에서 현재 바라보고 있는 위치와 방향을 정확히 계산해내는 알고리즘입니다. 자료를 만드는 방법은 PhotoSynth와 유사하고, 사용 목적은 PTAM과 비슷할 수 있겠네요. 폰에서 1초 내에 인식이 가능하다고 하니 실내 네비게이션과 같은 쪽에 유용하겠습니다.

그리고 마지막은 보너스입니다. 위의 두가지 알고리즘을 함께 확장하여 평면이 아닌 3D 객체에 대한 모델 기반 추적을 실험하고 있습니다. 아직 논문으로 정리된 내용은 아니지만 이미 안정적으로 작동하는 모습을 볼 수 있으며, PC에서는 무려 1000 FPS의 속도를 낸다고 하네요.

ISUVR 2009

증강현실 분야의 세계적인 연구자들이 이번주 한국을 찾았습니다. 광주 GIST에서 개최되는 7번째 ISUVR (International Symposium on Ubiquitous Virtual Reality)에 참석하기 위해서인데요. 학회 참석 전 서울 KIST에서도 강연을 하게 되었습니다.

Nokia Research에서 AR 관련 연구를 이끌고 있는 Kari Pulli는 모바일 폰에 적용할 수 있는 다양한 영상 처리 기법들을 소개하였습니다. 특히 최근 많은 고민을 하고 있는 영상 descriptor 생성과 matching에 대한 부분은 예전에 따로 세미나도 했던 내용이었지만, 역시 저자 직강을 들으니 더욱 흥미로웠습니다. 이외에 모바일 폰에서 여러 장의 사진으로 HDR 영상이나 파노라마를 만드는 방법에 대한 소개가 이어졌는데요. 기존에 PC에서 오프라인으로 하던 작업들이 모바일상에서 직접 가능하게 됨에 따라 재미있는 응용들이 많이 등장할 것 같습니다.

토론 시간에는 모바일 플랫폼에서 영상 처리를 위한 GPU의 활용에 대한 의견을 물어보았습니다. 마지막에 잠깐 보여준 슬라이드에서 fixed point 연산으로 hand optimized된 CPU 코드와 GPU 코드의 수행 속도에 큰 차이가 없다는 결과가 나왔고, 저도 지금 작업하고 있는 일에서 비슷한 고민을 하고 있었기 때문입니다. 답변은 요약하자면 현재의 모바일 플랫폼은 메모리 대역폭의 한계 등으로 실제 최적의 성능을 뽑아내기 어려운 상태인 것 같고 다음 세대 정도를 기다려봐야 할 것 같다는 이야기였습니다. 모바일용 OpenCL은 아직 공식적으로 예정된 내용이 없는데 Nokia 내부적으로는 OpenGL ES 2.0을 wrapping해서 테스트하고 있는 듯 하였습니다.

오스트리아 TU Graz의 Daniel WagnerARToolKitPlus의 개발자로 잘 알려져 있으며 최근에는 모바일 폰에서 실시간으로 구동하는 NFT (natural feature tracking)를 선보이며 일약 스타가 되었습니다. 그래서 트래킹 쪽에 집중된 주제를 기대하였는데 정작 모바일 AR에 대한 개론이 대다수 내용을 차지하여 약간 김이 빠지긴 했습니다. 그래도 최근 진행중인 일에 대한 언급은 유용한 정보가 되었습니다. 여기서도 모바일 파노라마 연구를 하고 있다는 것을 보니 요즘 유행이라는 생각도 들었습니다. 토론 시간에는 NFT 알고리즘의 scalability에 대한 질문을 하였는데 역시 대량의 feature에 대한 matching은 쉽지 않다는 이야기와 함께 현재 연구를 계속 진행중이라는 정도의 답변이 돌아왔습니다.

이후 이어진 오후 세션에서는 독일 M?nster University의 Antonio Kr?ger가 주로 프로젝션 AR의 사용성 문제에 대한 이야기를 하였습니다. 곁다리로 소개한 PhotoMap이 오히려 흥미로웠는데 안내판의 지도를 사진으로 찍어서 네비게이션에 직접 사용할 수 있는 시스템이었습니다. 자리를 옮기며 현재의 위치를 두번 찍어주면 되는 방식이 인상적이었지만, Wagner의 지적대로 사진을 정면에서 찍지 않으면 안 된다는 치명적인 단점이 있었습니다.

마지막으로 호주 University of South Australia의 Bruce Thomas가 자신의 Wearable Computing Lab에서 진행하고 있는 연구를 소개하였습니다. 이곳은 몇년 전 ARQuake로 유명해진 곳이기도 하죠. 프로젝터를 이용한 spatial AR을 디자인 프로세스에 적용하는 연구에 대한 소개도 있었는데, occlusion에 대한 질문을 던지기도 하였습니다.

지난 3년 동안 계속 참석하였던 ISUVR을 올해에는 가지 못하게 되었지만, 대신 이렇게라도 좋은 강연을 들을 수 있어서 다행이네요. 앞으로도 국내에서 이런 기회가 많아졌으면 하는 바람입니다.