以3D视觉为基础的物件回想系统-NPUCSIE.PDFVIP

第十四屆 離島資訊技術與應用研討會 以3D視覺為基礎的物件回想系統 1 2 3 黃竹政 、謝朝和 、黃金本 銘傳大學資訊傳播工程系 1 2 3 doqwee@ 、hsiehch@.tw 、hcptw@.tw 摘要 文獻探討 記憶力衰減是 人們無法避免的問題，像是在 為了達到研究目的，需要了解到許多相關技 家中常常困擾著找不到曾經使用過，卻想不起來放 術，像是使用 一般攝影機時的物件回想系統的整體 在哪裡的家用物件 ，如遙控器、藥罐、茶杯等。為 想法與架構，以及判斷是否抓取物件的膚色偵測與 了提升人們在生活上的便利性，降低為找尋這些物 分割出物件的前背景分割，除此之外還有在使用深 件所浪費的時間 。本研究以3D視覺技術為基礎， 度攝影機下當手部放置物件後跟平面的切割的方 探討應用深度攝影機所取得的影像深度值以及人 法。 體的骨架位置 ，來進行物件的追蹤、切割與辨識， 圖 2 為傳統的物件回想系統 [1][2][3] ，使用一 最後建立各物件的特徵與其位置的索引，輔助使用 般的攝影機，圖 3顯示利用膚色偵測判斷使用者的 者回想起家用物件擺放位置之物件回想系統。初步 手部是否進入拍攝區域，來開啟網路攝影機的開始 實驗結果顯示該方法深具潛力。 與結束錄影；並透過連續影像相減法[4]如圖 4 ，利 用連續的影像，直接進行影像相減的動作，就可得 關鍵詞： 3D視覺、深度攝影機、索引、物件回想 到移動差異來分割前景與背景來分割出物件 ；及使 用 Speed-Up Robust Feature(SURF)演算法進行辨 前言 識的分類處理 ；且透過降低解析度[1][3]後能達到 近年來隨著深度攝影機的發展，相關研究越 有效的提升系統處理速度，而對物件辨識的準確率 來越多，深度攝影機的好處在於能夠使用彩色影像 並無明顯的差異，但在物件位置的紀錄還需讓使用 結合深度影像再以人體骨架資訊 來進行許多重要 者在身上帶著攝影機，透過分析錄製下的影片找出 的視覺相關研究與應用。 物件的位置。 在本研究中，提出一個使用深度攝影機來輔 助使用者的物件回想系統， 系統環境及架設如圖1 所示， 使用的深度攝影機為由微軟所開發的 Kinect ，將其架設於家中，利用它所 抓取的骨架資 訊 來追蹤使用者的雙手 ，切割 出以手部為中心的工 作區域，再透過深度值資訊即時的去除掉背景，並 利用膚色偵測來判斷手部是否正在進行抓取物件 的動作 ，及當放下物件後，紀錄手部骨架點的座標 當作物件的位置，之後結合深度值資訊和彩色影像 製作出具有3D視覺效果的 3D點雲來進行物件的 圖 2.使用一般攝影機之物件回想系統硬體示意圖 切割與辨識，最後建立物件之所在位置的索引，並 透過使用者介面給予回饋，達到輔助使用者回想物 件位置的目的 。 圖 3.膚色偵測開啟錄影 圖 1. 本研究系統環境及架設示意圖 圖 4. 連續影像相減法去除背景 223