结合视觉互动控制之智慧型人形照护机器人-人文与资讯学系.doc

結合視覺互動控制之智慧型人形照護機器人 Huamnoid Care Robot With Visual Interactive And Remote Control System 成明, 徐振峰 國立臺北科技大學 資訊工程學系 {t9590310, t9590337}@.tw 余兆偉 國立臺北科技大學 資訊工程學系 david741002@ 陳彥霖* 國立臺北科技大學 資訊工程學系 ylchen@.tw 【摘要】結合視覺互動控制之智慧型人形照護機器人 【關鍵詞】 mbedded System、Remote Control、Intelligent Robot、Kinect、 Streaming  1. 系統功能簡介 1.1. 系統功能 本專案結合多種領域之技術，將其應用在智慧型人形照護機器人上。其領域包括：遠端遙控技術、體感動作截取、Leap Motion、音訊傳輸、Open CV 、影像處理、等等……，各種領域的技術，使其擁有多種跨領域的應用。 而綜合以上之功能，主要將本專案之系統區分成三大部分：影像處理部分、互動操作部分、居家生活部分。 影像處理部分： 即時影像傳輸：利用機器人身上之HD Camera所抓取之影像，經過彩度次取樣(YCbCr 4:2:0)後，透過Socket經由Internet傳輸到Device端，經由OpemCV影像處理後，顯示影像，達成即時影像傳輸之功能。 人臉偵測：將機器人所傳回之影像，利用OpenCV的函示庫來進行人臉偵測之功能。 人臉追蹤：利用人臉偵測之結果，藉由更改機器人攝影機關節角度，將所抓取之人臉範圍保持在畫面之中央，以達到人臉追蹤之功能。 人臉識別：利用現場或先前建立人臉資料庫，再利用OpenCV進行 Eigen Face 和 Fisher Face以交互比對，提高人臉辨識之準確度。 互動操作部分： PC遠端遙控：利用個人電腦(PC)進行遠端的操作，此操作功能最齊全，可用鍵盤、滑鼠進行機器人的移動操作，以及利用介面上之各種Button達成其他操作之行為，詳細內容見第六章。 Kinect肢體模擬：可利用電腦外接Kinect Device來開啟Kinect肢體模擬之功能。利用Kinect抓取人體骨架，換算為機器人肢體關節之角度，以達到機器人模擬人為操作之肢體模擬的功能。 Leap Motion 手勢操作：eap Motion SDK，即可利用電腦外接Leap Motion Device來開啟Leap Motion手勢辨識以操作機器人移動和相關動作之功能。 居家生活部分： ：in32 API於電腦端進行錄音，再藉由將語音錄製成PCM之格式，利用Socket透過Internet傳到機器人端之揚聲器進行解碼撥放，來達到即時語音傳訊之功能。 排程控管： 網路串流： 語音互動： Engine、ASR(Automatic Speech Recognition) Engine，來將機器人藉由麥克風所收集到之音訊於遠端遙控端之語音資料庫進行波型的比對和處理，並辨識為何筆資料。再藉由機器人說話之功能來進行語音的互動。 2. 研究內容與方法 本結合多種領域之技術，將其應用在智慧型人形照護機器人上。其領域包括：遠端遙控技術、體感動作截取、Leap Motion、音訊傳輸、Open CV 、影像處理、等等……，各種領域的技術，使其擁有多種跨領域的應用。.1 體感動作截取 本專案利用現在市面上就可以購買到的體感裝置— Kinect，將使用者的動作擷取之後，轉換為控制機器人動作的指令，使機器人可以照著操控者的動作達到相似的動作。 機器人便於操縱，並做出操縱者想要的姿勢，在此採取了使用Kinect和OpenNI平台來讀取操縱者關節點(Joint)，如圖五所示，再以其關節點建立出人體骨架模型，如圖六所示，最後再藉此骨架模型(Skeleton)來操縱機器人的四肢和軀幹。 圖 2.1封包傳送流程 圖 2.2 封包接收流程 3示的只有15個，而圖2.4產生的骨架模型就是將圖五的關節點相互連結所形成的。 圖 2.3 OpenNI 關節點示意圖 圖 2.4 人體骨架模型 .2 Leap Motion 此主要是擷取手部精細的動作，本專案利用這領域的技術，將使用者手部的動作，轉換為操控機器人的指令，使機器人依照使用者的命令做出相對應的反應。 .3 音訊傳輸 本也結合了音訊傳輸的功能，可以透過遠端，將使用者的說話由麥克風錄製以後，傳輸到機器人身上播放，如此就能達到遠端傳話的功能。此外，當沒有麥克風時，可以將輸入的文字傳送到機器人身上，也可以達到傳話的功能。 .4 影像處理及臉部辨識 我們也利用Open CV電腦視覺的輔助來達到人臉偵測、人臉辨識、以及人臉追蹤的功能，並同樣使用其技術將機器人所即時傳輸之影像，做壓縮和畫面處理，再藉以顯示在