前言 - 影像处理实验室 - 中山大学.DOC

國立中山大學資訊工程系 碩士論文 指導教授：蔣依吾 教授 以實際影像序列為依據之人臉動作模擬 Human Facial Animation Based on Real Image Sequence 研究生：葉士豪 撰 摘要 如何有效且真實建立三度空間人臉模型及其各種動態表情，在電腦圖學領域中一直是個困難且有趣的問題，隨著電腦技術進步，人們對於影像呈現要求也越來越高，因此以電腦為基礎之三度空間人臉模型建立和動作模擬相關研究相當受重視。 建立三度空間模型方法有許多種，而目前最常被使用方法包括雷射掃描系統和電腦繪圖；雷射掃描系統雖然可建立細緻立體模型，但卻有無法追蹤動態物體之缺點，電腦繪圖則關係於控制點多寡，太多控制點會造成大量人力耗費，太少則表現出之立體模型不真實，動作亦不真實，因此我們提出以影像為基礎直接建立三度空間人臉動作模型；先利用兩部CCD攝影機，同時取得人臉左右影像，由兩台攝影機間距離，模擬人類兩眼視差而推導深度，對三度空間人臉模型加以建構，再針對其中一部CCD之連續影像，和原本之影像進行相同之特徵點比對，取得到特徵點之對應，進而計算出特徵點位移向量，將位移向量結合先前推導之三度空間人臉模型，建立立體人臉表情序列模型，於標準模型建立後，任何角色之二維平面臉部影像僅須與資料庫中儲存之立體人臉表情序列模型進行特徵點對應，便可以直接轉換成為三度空間臉部連續動作，此一過程中完全由電腦自動完成，不需人工來判斷，不僅可快速建立三度空間人臉立體模型，更可細緻地呈現人臉表情。 目錄 摘要 1 目錄 2 圖表目錄 2 第一章 簡介 2 第一節 幾何相機模型 2 第二節 立體成像 2 第三節 2D和3D關係 2 第四節 比對技術 2 第五節 Delaunay 三角形 2 一、 三角形分割 2 二、 Voronoi圖形 2 三、 Delaunay三角化 2 第二章 相關工作 2 第一節 相機校正 2 一、 照相校正 2 二、 自我校正 2 第二節 三度空間模型建立 2 一、 以電腦圖學技術為基礎 2 二、 直接量測技術 2 第三節 人臉連續動作模擬 2 一、 內差法 2 二、 移動偵測 2 三、 直接模擬 2 四、 其他方法 2 第三章 研究方法與步驟 2 第一節 相機校正 2 第二節 三度空間人臉模型建立 2 第三節 人臉表情連續動作建立 2 第四節 二維測試影像轉換至三維 2 第四章 結論 2 第五章 參考資料 2 圖表目錄 圖 1 系統流程 2 圖 2 三度空間轉換流程 2 圖 3 中央投影 2 圖 4 平行投影 2 圖 5 透鏡成像原理 2 圖 6 數位影像擷取幾何模型 2 圖 7 立體成像標準幾何模型 2 圖 8 epipolar lines and epipolar plane關係圖 2 圖 9 coplanar 系統元件位置 2 圖 10 座標位置圖 2 圖 11 雙眼看球，只能見到最接近人眼Z座標點 2 圖 12 圓球距離和亮度對應關係 2 圖 13 左右眼影像無法對應之狀況 2 圖 14 空間位置和左右圖對應點關係 2 圖 15 因視角不同造成之無法對應 2 圖 16 因物體前後關係造成無法對應 2 圖 17 物體因透視產生變形 2 圖 18 以區域為基礎比對 2 圖 19 以特徵為基礎影像比對 2 圖 20 Zero-Crossing 測試模版 2 圖 21 左圖找出直線，利用Search window在右圖找對應直線 2 圖 22 火車鐵軌周遭場景 2 圖 23 火車行駛周圍場景產生motion field 2 圖 24 Delaunay 分割 2 圖 25 Dirichlet 分割(粗線)和 Delaunay 三角化(虛線)間關係 2 圖 26 共圓的生成點 2 圖 27 一般的Voronoi圖形 2 圖 28 Voronoi圖形（虛線部分）和三角化（實線部分） 2 圖 29 考量魚眼效應之相機模型 2 圖 30 魚眼效應對影像之影響 2 圖 31 Open Cube(左) 矯正模型範例(右) 2 圖 32 曲線建立人臉模型 2 圖 33 以三角形呈現之三度空間人臉 2 圖 34 幾何圖形由,來控制大小形狀 2 圖 35 雷射掃描器裝置圖 2 圖 36 以影像為基礎內差法示意圖 2 圖 37 以內差法建立中間影像 2 圖 38 內差法所需之關鍵格 2 圖 39 Xiaoming Liu追蹤人體移動對應圖 2 圖 40 使用反光亮片追蹤人臉表情 2 圖 41 人臉肌肉圖 2 圖 42 表皮與肌肉組織連帶關係 2 圖 43 Larrabee一塊皮膚計算模型 2 圖 44 H. Aboul使用變形產生新表情 2 圖 45 Yu