Tag ‘mobile’

증강현실 축제 ISMAR 2009의 기대 논문 (1)

증강현실 분야의 최고이자 최대 학회인 ISMAR (International Symposium on Mixed and Augmented Reality)가 다음 주로 다가왔습니다. 지금까지는 주로 공학 논문 위주의 학회였지만 올해부터는 인문사회 및 예술 분야의 행사가 대폭 추가된 것이 특징입니다. 아무래도 증강현실이라는 생소한 용어가 일반 대중들에게도 폭넓게 인지되고 있다는 시기적 특수성도 있고요. SIGGRAPH처럼 산업과 연계된 다학제적인 행사로 거듭나려는 고민을 엿볼 수 있습니다.

이중 논문 구두 발표는 총 8개의 세션으로 구성되어 있으며, 프로그램은 여기에 나와 있습니다. 그럼 올해에는 어떤 재미난 논문들이 나오는지 제목만으로 한번 훑어보겠습니다.

첫번째는 User Interfaces 세션입니다. 다른 곳은 잘 모르겠고 두번째의 “Interference Avoidance in Multi-User Hand-Held Augmented Reality”는 Goblin XNA를 만든 Ohan Oda의 논문입니다. 지도교수인 Steven Feiner는 작년에 한국을 방문하여 대학교 및 연구소 등을 대상으로 증강현실에 대한 특강을 하기도 하였죠. 제목은 다수 사용자의 간섭에 대한 것이라는데 정확히 감은 안 오네요. 영상 속에서 뭔가 가렸을 때의 문제를 말하는 것이려나요?

그 다음 세션은 Rendering입니다. 첫번째 논문인 “Animatronic Shader Lamps Avatars”Ramesh RaskarShader Lamps를 화상회의 시스템에 적용하였습니다. 움직이는 가짜 사람 얼굴 모형에 실제 영상을 투영시키는 것이죠.

두번째 논문인 “Augmenting Aerial Earth Maps with Dynamic Information From Videos”는 이미 몇주전부터 굉장히 유명했죠. 구글 어스와 같은 항공 사진 지도 위에 CCTV 영상 등의 동적인 콘텐츠를 올려놓았습니다. Georgia Tech의 김기환님을 비롯한 한국 유학생들이 저자로 참여한 논문입니다.

그 다음은 Tracking on Mobile Devices 세션입니다. 요즘 모바일 AR이 대세이기 때문에 가장 큰 관심이 쏟아지지 않을까 싶습니다. 이중에서 TU Graz의 “Multiple Target Detection and Tracking with Guaranteed Frame Rates on Mobile
Phones”
“Towards Wide Area Localization on Mobile Phones”지난 글에서 소개해드린 적이 있고요. “Parallel Tracking and Mapping on a Camera Phone”도 역시 iPhone에서 PTAM을 돌린 영상으로 널리 알려져 있습니다.

“Shape Recognition and Pose Estimation for Mobile Augmented Reality”는 기존의 점 피쳐를 사용하는 정형화된 NFT와는 다르게 외곽선 피쳐를 사용하여 보다 유연한 인식과 추적을 보여주고 있습니다. 예를 들어 아래 영상에 나오는 것처럼 펜으로 대충 모양을 그린 다음 사용할 수도 있다는 것이죠.

그리고 이를 응용한 논문이 다음 날의 Paper AR 세션에 또 있습니다. “In?Place 3D Sketching for Authoring and Augmenting Mechanical Systems”라는 제목으로, 종이에 스케치하는 모양대로 저작을 하고 증강이 되는 시스템입니다. 재미있죠? 게다가 이미 iPhone 3.0으로 포팅이 되어 있는 상태이고, 카메라 API까지 공개하겠다고 해서 큰 관심을 받고 있습니다.

이 세션의 두번째 논문은 “Augmenting Text Document by On?Line Learning of Local Arrangement of Keypoints”인데, 왠지 ISMAR 2007에서 Ricoh가 전시하였던 HOTPAPER가 떠오르는군요.

마지막은 “Augmented Touch without Visual Obtrusion”이라는 논문입니다. PHANTOM Omni와 같은 햅틱 장치와 AR의 결합은 가상의 촉각과 시각을 함께 자극할 수 있다는 점에서 많은 연구가 이루어지는 분야인데요. 이러한 햅틱 장치가 워낙 무식하게 생겨서 눈에 거슬렸던 것도 사실입니다. 이것을 미리 준비한 배경의 영상에 기반한 렌더링으로 해결하자는 아이디어가 되겠습니다. 제가 AR을 처음 배우면서 만들어 보았던 마커 지우기가 떠오르네요^^;

자, 여기까지 세션 4개를 살펴보았구요. 너무 길어지는 것 같으니 나머지는 다음 글에서 이어가도록 하겠습니다.

모바일 AR을 위한 최신 트래킹 기술

증강현실 분야의 꽃이라고 할 수 있는 ISMAR 학회가 한달여 앞으로 다가온 가운데, 발표될 논문들의 윤곽이 서서히 드러나고 있습니다. 그중에서 가장 뜨거운 감자라고 할 수 있는 트래킹쪽 세션에서는 작년과 마찬가지로 오스트리아 TU Graz ICGDaniel Wagner가 참여한 논문이 두 편이나 선정된 모양입니다.

그중에서 역시 눈길이 가는 것은 위 동영상이죠. 지난 ISMAR 2008에서 최우수 논문상을 수상했던 모바일 폰에서의 Tracking by Detection 알고리즘이 Multiple Target Detection and Tracking이라는 이름으로 한층 더 업그레이드 되어 돌아왔습니다. 지난 달 Wagner가 한국을 방문했을 때 했던 강연에서 scalability에 대한 질문을 한 적이 있었는데요. 그에 대한 현재의 답이 될 수도 있겠습니다. 여러 객체를 동시에 인식하기 위해서는 속도가 느려질 수 밖에 없는데, 이를 피하기 위해 영상에서 이미 인식된 부분은 다음 번에 다시 처리되지 않도록 제외하는 것이 기본 아이디어인 듯 합니다. 자세한 내용은 논문이 발표되어야 알 수 있을 것 같고 일단 저 영상만으로도 충분히 자극적이네요. 최신 폰도 아니고 ASUSMEIZU의 적당한 모델을 사용하는데도 참 빠릅니다.

다른 한 편의 논문은 Full 6-DOF Localization Framework이라는 제목이 붙어있는데요. 주변 환경을 고해상도로 촬영하여 3D 점군을 생성한 다음, 이를 기반으로 모바일 폰에서 현재 바라보고 있는 위치와 방향을 정확히 계산해내는 알고리즘입니다. 자료를 만드는 방법은 PhotoSynth와 유사하고, 사용 목적은 PTAM과 비슷할 수 있겠네요. 폰에서 1초 내에 인식이 가능하다고 하니 실내 네비게이션과 같은 쪽에 유용하겠습니다.

그리고 마지막은 보너스입니다. 위의 두가지 알고리즘을 함께 확장하여 평면이 아닌 3D 객체에 대한 모델 기반 추적을 실험하고 있습니다. 아직 논문으로 정리된 내용은 아니지만 이미 안정적으로 작동하는 모습을 볼 수 있으며, PC에서는 무려 1000 FPS의 속도를 낸다고 하네요.

Mobile Reality

지난 달에 열린 O’Reilly의 Where 2.0 ConferenceMobile Reality라는 세션이 있었습니다. 모바일 기기에서 GPS를 통한 위치 기반 서비스 와 같이 주변의 콘텍스트를 활용할 수 있는 환경이 열리고 있는데요. 증강현실은 이러한 정보를 효과적으로 보여주기 위한 인터페이스로 많은 관심을 받고 있습니다. 이번 세션은 특히 산업계에서 최근 부쩍 높아진 관심을 대변한다고도 볼 수 있겠습니다.

연사들도 최근 어디선가 한번씩 본 듯한 사람들인데요, Games AlfrescoOri Inbar가 눈에 띕니다. 역시 말도 제일 많이 하네요:)

한국계로 보이는 EveryScapeOh Mok은 iPhone에서 박물관의 가상 공간을 네비게이션하는 어플리케이션을 선보였는데, 앞으로 Google Street View 등이 AR과 접목되어 나아갈 수 있는 방향을 잘 보여주고 있습니다.

패널 토의 말미에 언급된 것처럼 AR의 상용화에 있어 가장 큰 장벽은 역시 안정적인 트래킹 기술의 확보인 것 같습니다. 현재 할 수 있는 선에서 최대한 활용해보아야 한다며 매듭을 짓고 있지만, 쉬운 것은 아니겠죠. WikitudeLayar가 보여준 타협점이 얼마나 매력적인지와도 관련이 있겠습니다.