使用背投影技术之互动式多点触控介面.doc

使用背投影技術之互動式多點觸控介面 Interactive multi-touch display 指導老師： 教授 摘要 單點觸控與多點觸控Multi-touch)，其中最大的差別是單點觸控就像是在捷運系統儲值票卡看到的螢幕一般，一次只能感應一個點，而多點觸控則可以感應到一個以上的觸控點觸控目前最流行之iPhone就是使用多點觸控的技術，因為 iPhone 可以讓使用者用兩個手指頭將圖片做放大縮小的動作，然而真正強大的多點觸控是沒有點數的限制。微軟也積極投入多點觸控的開發並推出可進行多點觸控功能的Surface Table電腦，但因價格過高，因此還未能普及化。為了提供使用者一個簡單便宜的大型互動多點觸控介面，我們使用投影機背投出大尺寸的畫面，應用紅外線Infra Red)發射散射光源，並配合網路攝影機(Webcam)來抓取使用者的手指動作，使用微軟C#程式語言，搭配XNA Game Studio遊戲發展平台來實現應用功能以做為互動之依據，本系統之成本約2-3萬，顧及到系統普及化的與便利性，因此可以運用在許多場合。1.概論 2.研究方法 由投影機投出的影像映在桌面上由使用者操作，使用者操作的指尖按下預做的地方，IR掃描到指尖(類似X光)，由 WebCam讀入電腦做處理。處理完後再輸出成影像呈現在使用者面前。 軟體技術 讀入的影像我們先進行灰階化再把影像二值化成只有黑跟白的畫面 二值化先經過門檻值的判斷一分為二，消除雜訊與其他不必要的影像 留下來白色的部份即為指尖，再由connected component判斷鄰近相連的像素是否為同一根手指，判斷兩個指間結束即可操作遊戲。我們只做兩個指間的影用。 3.硬體架構與軟體流程 3.1 硬體架設 首先，在程式寫入前，我們先進行環境設定與使用硬體的規格了解，硬體架設方式如下圖，因此我們需要的設備有： 螢幕介面(桌面) 一塊90*90cm大小之正方形透明壓克力 影像投影機 BenQ MP512ST Digital Projector短距離數位投影機 視訊攝影機 Microsoft LifeCam 1.4(廣角視訊) 紅外線IR 訂做(紅外線LED，45度角照射40顆)/1條*2 3.2系統描述 我們使用 C# 程式語言，搭配XNA Game Studio遊戲發展平台。為了實現在多點觸控介面上的應用，在還沒有其他應用寫入之前，我們先以遊戲方式呈現，遊戲內容係以兩點辨識操作。其流程圖如下： 硬體 畫面輸出(使用者介面) 紅外線發射，由WebCam抓取影像 軟體 Image Gray Image Binary Connected Component 硬體 6. 影像輸出/遊戲操作 4.執行結果 硬體部分 由投影機投出的影像映在桌面上由使用者操作，使用者操作的指尖按下預做的地方，IR掃描到指尖(類似X光)，由 WebCam讀入電腦做處理。處理完後再輸出成影像呈現在使用者面前。 軟體技術 影像灰階化：讀入的影像我們先進行灰階化再把影像二值化成只有黑跟白的畫面 影像二值化：二值化先經過門檻值的判斷一分為二，消除雜訊與其他不必要的影像 連通圖元件：留下來白色的部份即為指尖，再由connected component判斷鄰近相連的像素是否為同一根手指，判斷兩個指間結束即可操作遊戲。我們只做兩個指間的應用。 遊戲執行畫面 4.未來展望 時代不斷的變遷，人機的介面從我們早期認識的鍵盤時代慢慢步入觸控式輸入，而現在隨著各家廠商技術不斷的更新進步，多點觸控已慢慢走入我們常用的3C產品中。但我們希望，多點觸控這套系統不是只有少數人使用的技術，我們希望藉由這套簡單又低成本所架設的系統，讓家家戶戶都能了解多點觸控在新時代的來臨帶來的方便性。 5. 參考文獻 UIST會議論文http://iihm.imag.fr/demos/magicboard/movies/ /projects/DiamondTouch/ 紅外線/2008/05/09/diy-surface-table-ii/