手势视讯滑鼠之小画家.DOCVIP

視訊小畫家 摘要 本專題「視訊小畫家」採用以視覺為基礎的方進行手勢辨識和手勢追蹤，並且在螢幕上達到繪圖等功能。不使用滑鼠，取而代之的是利用視訊裝置追蹤手指的移動來移動螢幕上的滑鼠。透過滑鼠手勢，將其轉成系統控制訊息，然後呼叫系統滑鼠事件函式觸發滑鼠，完成Click、Double Click、Move、Drag等滑鼠操作，進而切換不同的顏色、畫筆的大小、繪製的圖形等功能。在手勢辨識的部份，採用背景相減、色彩偵測、二值化、侵蝕及擴張，經過影像技術處理，並判斷出目前手勢與執行相對映之動作。 一、研究動機 由於影像處理技術的發展與視訊裝置的普及，如能透過視訊裝置來與遊戲結合，以手部動作來達成操作虛擬影像之功能，將能大幅增加遊戲的娛樂性與發展性。 從現今社會來看，現在的遊戲越來越人性化、遊戲的趣味性與人們的互動也大幅提高許多，例如造成熱銷的Wii，則是以感應裝置來達成人與遊戲間的互動。 雖然視訊小畫家看似簡單又平凡，但也因為這樣，將會成為小孩極感興趣的遊戲，當小孩在營目前舞動手指，而造成畫面圖案的更改變化，更是會加深小孩的喜愛。 二、文獻探討 根據ITU統計，全球電腦數已達8億台，台灣更是以57.5%的電腦普及率居全球14名，亞太地區第三名，可以說每二個人就有一台電腦。在這麼多麼使用者裡，普遍被使用作為操作電腦的裝置有：鍵盤、滑鼠、搖桿等裝備，這些裝置無法方便及合適提供使用者與系統自然且直接之互動效果，而且愈來愈多人開始進行人機介面之研究，所以將手勢應用於機器視覺和虛擬實境介面，已成為一個新的研究趨勢，可想而知，手勢作為人與電腦間之溝通介面，將會廣泛的應用。 以手勢辨視和追蹤手勢，目前主要有兩種方法，一是以「手套為基礎的方法」(Glove-Based Methods)，另一種是以「視覺為基礎的方法」(Vision-Based Methods)。 以手套為基礎的方法，雖然手套可以正確和即時對手勢進行辨認，但價格昂貴，且手容易感到疲倦，攜帶不方便，因此降低其實用性與方便性。 以視覺為基礎的方法，和前者不同在於可以以最自然且直接的方式輸入手勢，而且價格便宜，同時又區分為兩類：以輪廓為基礎(Contour-Based Method)和以模組為基礎(Model-Based Method)。 以輪廓為基礎的方法，先要取得手部區域影像，再取出邊緣輪廓，根據邊緣輪廓進行手勢辨識，這種方法會因手勢運動和背景互相干擾，以及相同輪廓代表不同的手勢，因此需要解決邊緣取出和手指間互相遮蔽等問題 以模組為基礎的方法，是以手指間區域活動和手的全域活動比對手部模型適應演算法，計算出各關節彎角度和指尖對應之位置，和輪廓比較起來，較為準確，但計算複雜度高耗費時間長，所以難達到快速辨識的效果。 三、系統與架構大綱 3-1系統環境 系統辨識環境視訊鏡頭平放桌面，鏡頭前方60公分距離如圖(1)為手部辨識區域範圍。而背景有白色隔板直立站起形成小型的手部辨識區域範圍，提高辨識手部動作出的拳。 圖(1) 系統架構 3-2系統流程 圖(2) 系統流程 四、研究方法 4-1抓取背景 經由Webcam取相出的環境將背景做背景相減的動作，經由背景相減的動作可以減少程式誤辦的可能性能夠可以更區分出手勢在不同的環境都需做背景相減的動作達到提高辨識度高的可能性。背景相減的動作目的是為皮膚偵測，因為不同的環境 圖(3) 有可能會有接近皮膚偵測的顏色 圖(4) 所以需要做背景相減 圖(5) 的動作。可以把背景相接近的皮膚偵測給濾掉達到提高辨識度的可能性。 由於必須先做背景相減的動作才能做膚色偵測，其中Th R 、Th G 、Th B 分別為R、G、B 的門檻，設定Th R =Th G =Th B =20 。 Webcam抓取第一張背影的影像中的每一項的像素點的R、G、B值，相對的分別為Webcam抓取影像經過相減的影像。 圖(3) 背景環境 圖(4) 未相減背景 圖(5) 已相減背景 4-2 皮膚偵測 由背景相減的動作得到需要的手勢的範圍，使用RGB 轉成Ycbcr來判斷如果偵測到是皮膚的顏色保持不變，如果不是皮膚的顏色將RGB的顏色轉為255黑色。如圖 皮膚偵測結果如圖(6)。 將收到的RGB 轉換到YCbCr 色彩空間，其中Y(luminance)為亮度元素，Cb (blueness)、Cr (redness)分別為兩個彩度元素，由於對亮度的分離性高，方便與彩度分開操作，很適合於偵測膚色上使用。RGB 色彩空間轉YCbCr 色彩空間的轉換關係公式如下： 圖(6) 皮膚偵測 4-3 二值化 影像中經過中通濾波或低通濾波，以降低像素的雜訊，則再以線性來改變像素的灰度值分布圖，並加強明暗對比，像素的灰度值分布圖可予以展延3×3 大小的遮罩(Mask)，依序由左而右，由上而下的掃描整張影像 3