基於影像辨识辅助肌肉萎缩人士电脑使用之研究-中华科技大学.docVIP

基於影像辨識輔助肌肉萎縮患者電腦輸入之研究 Assisted Computer Word-Entry Method Based image recognition for Muscular Atrophy patient 林國華 Kuo-Hua Lin 中華科技大學電子研究所研究生 Department of Electronic Engineering China University of Science and Technology 蔡樸生 Pu-Sheng Tsai 中華電子系 Department of Electronic Engineering China University of Science and Technology 摘 要 本論文探討使用影像處理之方式，透過電腦及Webcam設備，拍攝使用者額頭範圍之局部影像，並依影像中黏貼於額頭上之識別貼紙的移動方向及距離，經程式計算後控制滑鼠游標的位置及執行點選滑鼠按鍵之動作。此應用主要用於為例如肌肉萎縮症或漸凍症等等之患者，無法使用滑鼠及鍵盤但頭部可正常擺動之人士，提供一種使用電腦的控制及輸入介面。僅需使用一般市面上數百元新台幣之Webcam，搭配本系統軟體，配合Windows API，即可達成上述以動作控制實現操作電腦之功能。 [1]。 對於罹患肌肉萎縮症或漸凍症之患者，尋求一種控制及輸入介面，取代滑鼠及鍵盤，用以操作電腦，進行例如閱讀、聽音樂、觀看影片、上網、線上聊天等等活動。對與此方面之應用有許多相關之研究[2]，例如眼球追蹤系統，透過眼球或瞳孔的動作，轉換為對滑鼠游標的控制，或是人機介面的應用[3]。可分為接觸式及非接觸式，接觸式如搜尋線圈法（Search Coil, SC）[4]，使用者配帶具有感應線圈的軟式鏡片，並在眼球週圍加上固定磁場，藉由眼球及感應線圈轉動時產生的電動勢，得知眼球之動作，此方式可能因長時間配帶鏡片造成使用者的不適。接觸式的另一種為眼電圖法（Electro-Oculography, EOG）[5]，將4個電極分別黏貼於眼球週圍上、下、左、右的皮膚上，利用電極的原理測量眼睛的移動，在眼球角膜與視網膜間存在一個固定電位差，眼球轉動時，在視覺中線上可以看成是一個角膜與視網膜構成的電雙極在偏轉，當眼睛在移動時，電極將產生不同的訊號，在依照這些訊號，來判斷眼球的運動。非接觸式中紅外線影像系統[6]，使用紅外線攝影機，利用瞳孔不會反射光的特性，自拍攝的影像中計算出瞳孔的中心點，此方式可能因紅外線持續對眼球的照射而造成損害；而非紅外線攝影機則是以拍攝取得之影像，以各種不同的演算法計算出眼球或瞳孔的中心點，此方式不會造成損害或不適，但準確度較低。 本論文適用之對象為四肢不便於操作滑鼠及鍵盤，但頭部仍可正常擺動之人士，將直徑約為1公分之紅色圓形識別貼紙黏貼於使用者額頭上，根據Webcam拍攝之影像，可計算出使用者頭部擺動之方向及距離，依此控制滑鼠游標之位置及執行點擊滑鼠按鍵之動作。本論文將敘述擷取影像及控制滑鼠之方法，並說明如何以影像計算後轉為控制滑鼠游標之計算原理，以及逐步示範並解說針對此操作介面所開發之閱讀系統的應用。 貳、系統架構 本系統由4個部分所組成，分別包含了電腦、Webcam、識別貼紙及程式軟體，參考圖1所示。系統運作的方式是將識別貼紙黏貼於使用者額頭上，由Webcam拍攝包含使用者額頭及識別貼紙之影像，藉由額頭及識別貼紙的移動，經過程式之計算後轉為對滑鼠游標及滑鼠按鍵之控制。 在硬體部分之要求，電腦使用一般之個人PC或NoteBook即可（作業系統為Windows XP以上），Webcam及識別貼紙均為容易取得且價格低廉之項目（本論文使用NoteBook配備之Webcam，解析度為1280＊960，識別貼紙則為便利商店所購得之紅色圓形小貼紙）。 在軟體部分，本論文之程式軟體使用Visual Basic 2008 Express開發，程式透過Windows API對Webcam進行控制以擷取影像，並在對影像進行計算後，再次透過Windows API控制滑鼠游標之位置及產生點擊滑鼠按鍵之動作，在閱讀系統中執行選擇書本及翻頁之功能。 圖Private Declare Function capGetDriverDescription Lib avicap32.dll Alias capGetDriverDescriptionA (ByVal dwDriverIndex As Integer, ByVal lpszName As String, ByVal cbName As Integer, ByVal lpszVer As String, ByVal cbVer As Integer) As Boolean 建立捕捉影像之控制 Pr