Tag ‘tracking’

증강현실 축제 ISMAR 2009의 기대 논문 (2)

지난 글에 이어가도록 하겠습니다. 둘째 날의 Human Factors 세션부터네요. 예전 통계를 보면 ISMAR에서 가장 경쟁률이 낮은 분야라고 하였는데, 그렇다고 그 중요성 또한 낮은 것은 아닙니다. 오히려 AR의 본질에 대한, 쉽게 말하자면 “AR이 정말 쓸만 한가요?”라는 질문에 대한 답을 찾는 분야라고 할 수 있겠습니다.

첫번째 논문은 “Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality”입니다. 저자 Sean White는 아까도 나왔던 Columbia University의 CGUI Lab 출신입니다. 이번에 발표되는 기술은 식물 채집 가이드 시스템인 LeafView에 적용되었고, 2007년도에 발표했던 Visual Hints의 연장선상에 있는 듯 합니다.

두번째 논문인 “Influence of Visual and Haptic Delays on Stiffness Perception in Augmented Reality”는 햅틱 AR 환경에서 시각적 촉각적 딜레이에 따라 사람이 느끼는 강성의 차이를 분석했다고 합니다만, 직접 써보지 않고서는 잘 모르겠네요^^;

마지막은 “A User Study towards Understanding Stereo Perception in Head-worn Augmented Reality Displays”입니다. AR 관련 사용성 평가에서 자주 볼 수 있는 Naval Research Laboratory 소속 Mark Livingston의 논문입니다.

두번째 날 마지막 세션은 Modeling입니다. 첫번째 논문인 “Online Environment Model Estimation for Augmented Reality”UCSB Four Eyes Lab에서 제출하였습니다. 제목만 보고는 파노라마 환경 맵을 만들어주던 Envisor의 후속인가 했었는데, 오히려 Ninja on a Plane을 확장했다고 볼 수 있는 내용이었습니다. SLAM으로 영상 속의 평면을 찾은 후 텍스쳐 정보까지 활용한다고 하네요.

두번째 논문인 “In Situ Image?based Modeling”는 저자를 보니 아무래도 VideoTrace와 관련이 있을 것 같군요. 실시간 라이브로 돌리는 것일까요? 왠지 ProFORMAOutlinAR가 연상됩니다.

마지막 논문인 “Dynamic Seethroughs: Synthesizing Hidden Views of Moving Objects”는 제 3의 카메라를 이용하여 벽 뒤의 광경을 투시하는 방법을 설명합니다. 2004년도에 나왔던 츠쿠바 대학의 시스템과 유사해 보이는데, 움직이는 객체를 분리하여 시점을 보정해준다는 점이 특징인 것 같습니다. 자동차 부품 회사 DENSO에서 지원을 받아 귀여운 광고도 찍었네요.

마지막 날의 첫번째 세션은 Applications입니다. 이중에서 세번째 “Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret”는 다시 Columbia University입니다. 올해 많이 나오네요. 군용 기계 정비를 위한 ARMAR라는 시스템인데 아래에 동영상이 있습니다. 몇년 전에 나왔다가 최근 다시 인기를 끌었던 BMW의 AR 정비 컨셉과도 유사하죠?

대망의 마지막 세션은 Tracking입니다. 올해는 모바일 쪽과 별도로 구분되어 있죠. 첫번째 논문은 ISMAR의 단골 손님 TUM CAMPAR에서 나온 “A Dataset and Evaluation Methodology for Template-based Tracking Algorithms”입니다. 올해는 논문수가 예년에 비해 적은 것 같네요.

두번째는 역시 또다른 단골 TU Graz의 “Global Pose Estimation using Multi-Sensor Fusion for Outdoor Augmented Reality”입니다. GPS와 가속도 센서, 그리고 카메라를 모두 활용하여 추적 오차를 보정하는 방법을 설명합니다.

세션 마지막이자 학회 마지막은 올해 유일의 한국 논문인 “ESM-Blur: Handling and Rendering Blur in Object Tracking and Augmentation”입니다. 예전 연구실 선배이기도 한 박영민 박사과정은 작년에 이어 올해에도 ISMAR에 논문을 발표하는 쾌거를 이루었네요. 공동저자인 Vincent LepetitBazAR로도 유명하죠. 카메라가 흔들릴 때 발생하는 블러를 인식하여 트래킹과 렌더링에 적용하는 내용을 담고 있습니다.

잠시 짬을 내서 급하게 찾아본 내용이라 틀린 부분도 있을 것 같습니다만, 다음 주에 ISMAR 참석하시는 분들이 많으니 더 좋은 이야기 들을 수 있으리라고 생각합니다. 다녀 오신 분들의 후기도 기대하고 있겠습니다:)

증강현실 축제 ISMAR 2009의 기대 논문 (1)

증강현실 분야의 최고이자 최대 학회인 ISMAR (International Symposium on Mixed and Augmented Reality)가 다음 주로 다가왔습니다. 지금까지는 주로 공학 논문 위주의 학회였지만 올해부터는 인문사회 및 예술 분야의 행사가 대폭 추가된 것이 특징입니다. 아무래도 증강현실이라는 생소한 용어가 일반 대중들에게도 폭넓게 인지되고 있다는 시기적 특수성도 있고요. SIGGRAPH처럼 산업과 연계된 다학제적인 행사로 거듭나려는 고민을 엿볼 수 있습니다.

이중 논문 구두 발표는 총 8개의 세션으로 구성되어 있으며, 프로그램은 여기에 나와 있습니다. 그럼 올해에는 어떤 재미난 논문들이 나오는지 제목만으로 한번 훑어보겠습니다.

첫번째는 User Interfaces 세션입니다. 다른 곳은 잘 모르겠고 두번째의 “Interference Avoidance in Multi-User Hand-Held Augmented Reality”는 Goblin XNA를 만든 Ohan Oda의 논문입니다. 지도교수인 Steven Feiner는 작년에 한국을 방문하여 대학교 및 연구소 등을 대상으로 증강현실에 대한 특강을 하기도 하였죠. 제목은 다수 사용자의 간섭에 대한 것이라는데 정확히 감은 안 오네요. 영상 속에서 뭔가 가렸을 때의 문제를 말하는 것이려나요?

그 다음 세션은 Rendering입니다. 첫번째 논문인 “Animatronic Shader Lamps Avatars”Ramesh RaskarShader Lamps를 화상회의 시스템에 적용하였습니다. 움직이는 가짜 사람 얼굴 모형에 실제 영상을 투영시키는 것이죠.

두번째 논문인 “Augmenting Aerial Earth Maps with Dynamic Information From Videos”는 이미 몇주전부터 굉장히 유명했죠. 구글 어스와 같은 항공 사진 지도 위에 CCTV 영상 등의 동적인 콘텐츠를 올려놓았습니다. Georgia Tech의 김기환님을 비롯한 한국 유학생들이 저자로 참여한 논문입니다.

그 다음은 Tracking on Mobile Devices 세션입니다. 요즘 모바일 AR이 대세이기 때문에 가장 큰 관심이 쏟아지지 않을까 싶습니다. 이중에서 TU Graz의 “Multiple Target Detection and Tracking with Guaranteed Frame Rates on Mobile
Phones”
“Towards Wide Area Localization on Mobile Phones”지난 글에서 소개해드린 적이 있고요. “Parallel Tracking and Mapping on a Camera Phone”도 역시 iPhone에서 PTAM을 돌린 영상으로 널리 알려져 있습니다.

“Shape Recognition and Pose Estimation for Mobile Augmented Reality”는 기존의 점 피쳐를 사용하는 정형화된 NFT와는 다르게 외곽선 피쳐를 사용하여 보다 유연한 인식과 추적을 보여주고 있습니다. 예를 들어 아래 영상에 나오는 것처럼 펜으로 대충 모양을 그린 다음 사용할 수도 있다는 것이죠.

그리고 이를 응용한 논문이 다음 날의 Paper AR 세션에 또 있습니다. “In?Place 3D Sketching for Authoring and Augmenting Mechanical Systems”라는 제목으로, 종이에 스케치하는 모양대로 저작을 하고 증강이 되는 시스템입니다. 재미있죠? 게다가 이미 iPhone 3.0으로 포팅이 되어 있는 상태이고, 카메라 API까지 공개하겠다고 해서 큰 관심을 받고 있습니다.

이 세션의 두번째 논문은 “Augmenting Text Document by On?Line Learning of Local Arrangement of Keypoints”인데, 왠지 ISMAR 2007에서 Ricoh가 전시하였던 HOTPAPER가 떠오르는군요.

마지막은 “Augmented Touch without Visual Obtrusion”이라는 논문입니다. PHANTOM Omni와 같은 햅틱 장치와 AR의 결합은 가상의 촉각과 시각을 함께 자극할 수 있다는 점에서 많은 연구가 이루어지는 분야인데요. 이러한 햅틱 장치가 워낙 무식하게 생겨서 눈에 거슬렸던 것도 사실입니다. 이것을 미리 준비한 배경의 영상에 기반한 렌더링으로 해결하자는 아이디어가 되겠습니다. 제가 AR을 처음 배우면서 만들어 보았던 마커 지우기가 떠오르네요^^;

자, 여기까지 세션 4개를 살펴보았구요. 너무 길어지는 것 같으니 나머지는 다음 글에서 이어가도록 하겠습니다.

돌아온 PTAM, OPTAMM

모바일 폰에서의 향상된 NFT 알고리즘에 이어 이번에는 다시 돌아온 PTAM 알고리즘에 대해 살펴보도록 하겠습니다. 역시 ISMAR 2009에서 발표될 예정이며 현재는 동영상만 공개되어 있는 상태입니다.

ISMAR 2007에 처음 발표되었던 PTAM (parallel tracking and mapping)은 이후 더욱 넓은 공간에의 적용을 위해 다중 맵을 지원하는 PTAMM (parallel tracking and multiple mapping)으로 개선되어 ISWC 2008에 선을 보였습니다. 하지만 예전에도 언급하였던 결정적인 약점은 계속 남아 있었으니, 바로 지도상에 인식된 지점의 실제 위치, 혹은 의미를 알 수 없다는 것입니다. 예를 들어, 미술관 실내의 지도를 멋지게 생성하더라도 앞에 있는 그림이 고흐의 그림인지 샤갈의 그림인지 인식할 수 있는 방법이 없었다는 것이죠.

이번에 나온 OPTAMM (parallel object recognition, tracking and multiple mapping)은 이러한 문제를 해결하기 위해 SIFT 알고리즘을 이용한 인식이 함께 수행되도록 확장되었습니다. 위의 동영상에는 포스터, 그림, 오실로스코프 등의 다양한 물체를 구분하는 시나리오들이 잘 표현되어 있죠.

지금까지의 PTAM은 그냥 한번 돌려서 데모용으로 보여주기에는 아주 훌륭하였지만 지속적으로 사용하기에는 불편한 점이 있었습니다. 이 때문에 자체적으로 SIFT와 통합하여 사용하는 사례도 있었는데, 아예 원작자 측에서 깔끔하게 정리를 해버렸군요. 이제 이를 기반으로 쏟아져 나올 다양한 응용들이 기대 됩니다. 물론 얼마 전의 아이폰 포트도 놓치지 말아야겠죠. 올해 ISMAR도 참 흥미진진하겠습니다.