手势遥控器.ppt

以手指支數辨識為基礎之兒童互動輔助系統 報告人： 目錄 前言 系統架構 背景相減 輪廓擷取 角度正規化 尋找手腕位置 手指支數演算法 多數校正 滑鼠鍵盤事件產生器 實驗結果與討論 結論 前言 前言(續) 本論文針對兒童使用的軟體之基本控制方法進行改造 不需用到滑鼠以及鍵盤就能操控遊戲或教材 透過手勢控制兒童用的遊戲或教材。 系統架構 背景相減 背景相減法 (Background subtraction) 是影像追蹤時常用來將物件由背景中分離出來的方法。 輪廓擷取 由於利用背景相減法所擷取出的影像可能不夠完整，因此透過輪廓擷取並將內部填滿的方式來擷取較完整的手部影像。 角度正規化 由於無法規定使用者手部的擺放位置，而手部影像的角度會影響後來的判斷，因此利用角度正規化將手部的影像轉正。 尋找手腕位置 尋找手腕位置(續) 再利用圖中A區域與B區域手臂寬度的變化特性，以圖片高度減去c為基準點，以由下往上找出寬度由小變大的CL這條手腕切割線。 手指支數演算法 我們先計算出CL線上的手部寬度W，再利用W的中心點與手部影像邊緣中距離中心點最遠的並計算出兩者的距離distance。 手指支數演算法(續) 接著系統以distance分別除以7、6、5做為圓的半徑並以重心為圓心畫出三個0到180度的圓弧(如圖)，利用三個圓弧偵測到的數值來判斷是否為手指。 為了提升辨識率我們利用多數校正的方式 以圓弧做多數校正 當任兩個圓弧的切割數相同，才輸出手指支數 以frame做多數校正 收集連續五個frame的影像 有三個frame的手指數一致，才輸出手指支數 多數校正 滑鼠鍵盤事件產生器 實驗結果與討論 為了驗證本系統之正確率，我們收集了五個人、六種手勢，每人每個手勢200張進行辨識，每個手勢是在室內用webcam拍攝解析度為320*240 的影像進行測試，測試結果平均處理每5張影像（獲得一組答案）的時間為0.7秒（約7.14FPS）。 實驗結果與討論(續) 總張數 多數校正前 多數校正後 數字0 1000 75.30% 94.83% 數字1 1000 92.88% 93.13% 數字2 1000 88.30% 90.50% 數字3 1000 91.40% 94.00% 數字4 1000 85.70% 89.00% 數字5 1000 85.63% 94.38% 測試結果 結論 雖然本系統已經擁有90%以上的辨識程度，但是還是會受背景的影響也無法判斷使用者手位置是否擺放正確，因此在未來的發展方面我們希望可以利用兩台紅外線攝影機的方式取得景深來判斷使用者手的擺放位置。 謝謝指教 * * * * * * * * * * * * * * * * * * * * * * * *