手语辨识与翻译系统之研究-中华大学生物资讯学系.PDF

中華大學生物資訊學系系統開發專題報告 手語辨識與翻譯系統之研究 A Study of the recognition and translation system of sign-language 專題組員 ：蔡明勳、范元駿、陳維洺、蔡育庭 專題編號： PROJ2015-BIOINFO-10103 指導老師 ：董其樺 老師 摘要 於此系統需要使用到電腦、攝影機、 本專題研究旨在第一人稱利用 網路，但不是隨處都有良好的網路訊 Leap motion感應裝置 與Leap Trainer 號，且電腦設備並非隨時能夠攜帶。 進行手勢偵測 ，應用於受測者比畫各 即使現在已有方便於攜帶的智慧型行 種 手語意義的準確率之探討。此外， 動裝置也不是最簡單、最即時的溝通 本專題亦使用 Processing語言結合 管道，在諸多不便利之下，時間上可 Leap Motion ，編寫出能夠辨識出左右 能導致有所拖延，無法讓聾啞人士在 手數字1~10之程式 ，探究了解偵測手 第一時間或很緊急的時刻向一般民眾 部動作的原理和規則 。經測試，本專 提出溝通的需求。因此，若能開發相 題所實作的裝置，所進行的 手語辨識 關系統或產品 ，讓聾啞人士和一般大 度平均為49.75% ，而最高 辨識度可達 眾能更沒有距離 、更自在地進行溝通 85％。我們期望此研究 未來能為 全球 交流與對話，造福國內(甚至是全世界) 約三億六千萬名 以上的聾啞人士和一 的聽障或語言障礙的同胞，使其感受 般大眾立即、自在地進行溝通交流與 到這個社會無私的關懷與無差別的尊 對話。 重，如此一來，這個世界將能更加和 諧。 關鍵詞 ：手語、影像辨識、Leap motion 未來達成這個願景，現今在美國 新創公司 MotionSavvy已開發出一個 1.簡介 叫做 Uni ，能翻譯手語的 平板電腦，可 在現今資訊傳遞發達，溝通便利 以捕捉手部動作並將其翻譯為文字 的時代中 ，根據統計，聽力損失的全 [3] 。此Uni 裝置是以第二人稱方式擷 球患病率估計值約 3.6億人 ，超過世 取聽障者所比劃出的手語動作 ，加以 界人口的 5%[1] ，其中有超過 12萬人 翻譯 。但聽障者一隻手要拿著 平板 ， 在台灣 [2] 。我們日常生活中覺得再簡 一隻手比劃手語，可能會讓使用者能 單不過的閒聊，在聾啞人士眼裡是件 比的手語種類有所侷限 ，也無法流暢 多麼奢求的事。除 此之外，搭捷運時 地與平常人溝通。 曾看到站務人員與聾啞人士溝通，需 為了能夠偵測手勢動作，目前有 利用電腦設備搭配已有的網路視訊功 許多研究利用影像辨識相關之演算 能來向遠端的手語翻譯人員溝通。由 法。例如：「在複雜背景下做即時的手 IA3-4-009-A 部偵測與追蹤 」中提到的物件偵測演 動作感應器上方 2.5 公分到 60 公分 算法 [4] ；「手勢影像辨識率增強方法 之間。此裝置連接電腦後， 我們可以 之研究」中所使用的演算法 ，則偵測 透過觀察器偵測手指及手掌，在一定 輸入影像的 邊界框比例及質心