基於深度摄影机的手部动作侦测技术之三维模型形变系统.PDFVIP

基於深度攝影機的手部動作偵測技術之三維模型形變系統  研究者：曲遠綺、廖文鈞 指導者：陳怡芬老師、歐陽明教授 摘要  三維模型編輯對於電影動畫及遊戲產業相當重要，但經常需要大量人力與時間。傳 統的模型操作界面以滑鼠和鍵盤為主，本研究擬藉由Kinect 深度攝影機的輔助直接來感 測使用者的手部動作，期能藉由直覺的使用者介面，結合即時形變的演算法，讓使用者 可以快速調整模型到自己想要的結果。  Kinect 利用紅外線的接收與發射器即時偵測場景深度，並可從中間的鏡頭取得彩色 影像，現今已有許多利用此特徵的相關應用程式。本研究擬結合相關函式庫並加以改進， 更加精確取得使用者的手部動作變化，達成有效率且直觀的三維模型形變系統。  壹 、研究動機  三維模型是物體以三維多邊形表示，通常用電腦或影片設備進行顯示，並用三維建 模工具生成，也可以按照一定的演算法產生。現今三維模型已用於各種不同的領域。醫 療方面用來製作器官的精確模型；電影部分用於活動的人物、物體；視頻遊戲產業將它 們作為計算機與遊戲中的資源；工程界則用來設計新設備、交通工具 、以及建築結構。  在物理上，我們把物體發生的伸長、縮短、彎曲等變化稱為形變，而模型形變就是 讓三維模型能產生改變一個過程。傳統的模型形變以滑鼠和鍵盤來操作，但經常需要耗 費大量人力與時間。現今技術已經能運用Wii 動感強化器直接操作模型的形變，並即時 在電腦介面上修改。而由微軟開發的Kinect 同樣是感應器，則是利用紅外線的接收與發 射器即時偵測場景深度，並可從中間的鏡頭取得彩色影像，使用者不需手持控制器，而 是使用語音指令或手勢來進行操作。  貳 、研究目的及研究問題  本研究擬藉由 Kinect 深度攝影機裡的3D 結構光深度感應器的輔助，直接感測使用 者的手部動作，結合即時形變的演算法，期能設計出比Wiimote 更加直覺且不受控制器 限制的使用者介面，讓使用者可以快速調整模型參數到自己想要的結果。  參 、研究設備及器材  一、 XBOX 360 Kinect (Microsoft) 二、 Visual Studio 2010 (Microsoft) 三、 Kinect for Windows SDK (Microsoft) 四、Kinect for Windows Developer Toolkit (Microsoft) 538    五、 Qt 4.7.1 (Digia) 六、 CGAL-4.3 (CGAL Open Source Project) 肆 、研究過程或方法及進行步驟 一、 模型形變演算法 本研究採用的是拉普拉斯坐標(Laplacian  coordinates)模型形變法並搭配稀 疏線性系統(sparse linear system) 。 模型形變演算法的目標是能在操作過程中保持幾何性質及剛性，且能進行 即時形變。一般來說，每個變形過程中，首先使用Alexa 等人  [3] 所提出的Naïve  Laplacian coordinates 計算一個粗略的變形作為初始猜測(initial guess) ，並反覆使 用Sorkine 等人[6]提出的方法進行最佳化(如Algorithm 1) 。  Algorithm 1  compute the initial guess  while each iteration do  for each cell i in the mesh do  optimize transformation Ri  end for  optimize all vertices positions in the mesh  if error is less than the threshold then  break  end whi