林宗庆-淡江大学机械与机电工程学系.doc

擴增實境之即時無標記追蹤與影像對準 林宗慶、楊仕謙 淡江大學機械與機電工程學系大學生 王銀添 淡江大學機械與機電工程學系副教授 摘要 本計劃將使用影像特徵偵測(image feature detection)方法與目標追蹤(target tracking)理論，發展擴增實境(augmented reality)系統所需的影像對準(image registration)技術，取代現有擴增實境系統使用基準標記(fiduciary marker)的技術。研究預期目標有兩個部份，包括：第一，在擴增實境系統中，使用隨意的影像特徵取代現有系統中預先置放的基準標記，進行影像對準程序與實現真實環境的辨識，以達到無標記追蹤(markerless tracking)的目的；第二，使用目標追蹤理論，估測與追蹤影像特徵在空間中的狀態向量，以達到動態影像對準的目的。 1. 研究動機與研究問題 擴增實境(Augmented Reality, AR)是近十幾年才發展出來的新科技，其技術是將電腦繪圖重疊顯示在現實的視野場景上。這技術廣泛應用在娛樂產業與產品廣告(圖1至圖3)、產業製造、保養、與維修(圖4)、醫學影像導引手術(image guided surgery)(圖5)、工程設計、遠距機器人、以及軍事訓練(圖6)等領域。 AR包含三個部份：首先，場景產生器(scene generator)，負責呈現場景的裝置或軟體；其次，追蹤系統(tracking system)，即是處理影像對準(image registration)問題，負責將虛擬與真實世界的物件適當對應，或者適當連結虛擬與真實兩個世界以便產生共同存在的錯覺；最後，顯示裝置(display devices)，AR有多種形式的顯示裝置，大部分都包含頭罩顯示器(head mounted display, HMD)，常用的有光學透視(optical see-through) HMD、影片透視(video see-through) HMD、虛擬視網膜(virtual retinal systems)、監視器(monitor based)、與三維投射器(3D projector)等。 AR系統的三個部份中，追蹤系統是目前最重要的技術發展瓶頸，主要是牽涉到影像對準的問題。因為當我們使用攝影機在不同時間或不同觀景點擷取相同場景或物件的影像時，此影像位置將會處在不同的座標系統，所謂影像對準技術是轉換這些影像到相同座標系統的程序。要進行影像比對或整合不同量測所得到的影像，強健的影像對準程序是相當重要的。在某些AR應用系統上，要求虛擬與真實世界的影像要能精確對準，???其是醫學手術的應用。另外，在許多AR應用系統上，虛擬或真實世界的影像是動態的，此類應用的影像對準技術要求更高。 現有的擴增實境系統的影像對準技術大部份都使用預先置放的基準標記(fiduciary marker)以進行影像對準，此預先置放的基準標記或稱為標記(fiducials)是一條基準線或一個特定的圖型。例如Nokia N95智慧手機的遊戲AR Tower Defense，使用如圖1所示列印在紙上的城堡型式基準標記，此標記不能任意移動。另外，例如寶鹼(PG)公司與Mini汽車公司利用AR推廣產品，如圖2與3所示，也是使用特定圖案的基準標記，只是這些基準標記可以在鏡頭前移動與旋轉。使用基準標記的原因是：以目前的影像處理技術要即時進行任意影像特徵(image feature)的影像對準仍然是有困難的，尤其是追蹤與對準移動與旋轉中的任意影像特徵更是有待發展的技術。 本專題將使用影像特徵偵測方法與目標追蹤理論，發展擴增實境系統所需的影像對準技術，取代現有擴增實境系統使用基準標記的技術。在擴增實境系統中，使用隨意的影像特徵取代現有系統中預先置放的基準標記，進行影像對準程序與實現辨識真實環境，以達到無標記追蹤(markerless tracking)的目的。另外，也將使用目標追蹤理論，估測與追蹤影像特徵在空間中的狀態向量，以達到動態影像對準的目的。 圖1 Nokia N95智慧 圖2 寶鹼(PG)公司 圖3 Mini汽車利用 手機的遊戲 利用AR推廣產品 AR推廣產品 圖4 AR輔助電工檢測 圖5 醫學影像導引手術 圖6 AR輔助軍事訓練 2. 文獻回顧與探討 擴增實境(AR)雖然是近十幾年才發展出來的新科技，相關產品與文獻相當多。有關AR的學術文獻，IEEE與ACM每年舉辦的國際會議ISMAR (International Symposium on Mixed and Augmented Reality)，彙集各種新近發展的理論與技術相關論文[Costanza et al. 2009, Vallino 2010]。 有關擴增實境系統的無