机器人剧场之技术研发与实现.pptxVIP

機器人劇場之技術研發與實現台灣科技大學 智慧型機器人研究中心 林其禹教授長程目的 - 創造世界級娛樂機器人研究標的 – 設計製造出四部人型智慧型機器人(雙足、雙輪各 兩部)在舞台上進行舞蹈、模仿秀、即時歌唱、戲 劇、及執行運動性表演人員編組子題一施慶隆(台科大電機系教授)(1)郭重顯(長庚大學機械系副教授)(2)李維楨 (台科大機械系助理教授) 子題二林其禹教授(台科大機械系教授)子題三范欽雄教授(台科大資工系副教授)子題四鍾國亮教授(台科大資工系教授) 古鴻炎教授(台科大資工系副教授)子題五鄧惟中教授(台科大資工系助理教授)子題一A 輪型機器人目標: 設計製作兩輪機器人並發展能夠自動維持平衡以及控制其前進後退與轉彎之控制器 輪型機器人平衡控制方塊圖有限元素分析骨架變型結果圖 輪型機器人控制系統硬體方塊圖 輪型機器人輪型機器人電腦輔助設計3D圖輪型機器人運動影片輪型機器人平衡實體圖Gait PatternGeneratorGait TrainingSystemSerial CommunicationEmbedded PCSerial CommunicationPWM/ EncodersGait PatternData DecoderGaitLinearizationGaitSynchronizationProgrammable System-on-ChipPositionDecoderPID PositionControllerPWMGeneratorFull-BridgeAmplifiersTI TMS320F2812 DSP子題一B 雙足人型機器人之技術研發和製作成果Integrated Gait Control ArchitectureGait Pattern GeneratorGait Training ProgramGait SynchronizerAxis #L3Axis #L2Axis #L1{Axis #R3Axis #R2Axis #R1{Axis #L6Axis #L5Axis #L4{Axis #R6Axis #R5Axis #R4{AssemblyPhotoMotor Controller X 4動態影片展示雙足之步行測試影片考慮步行重心穩定性前進、右轉、左轉、右平移、左平移整合子計畫五之懸空測試影片不考慮重心穩定性步態檔案由子計畫五提供子題二 機器頭顱臉皮皮膚及機構之製造整體外觀結構零件結構與3D圖檔子題二 機器頭顱臉皮皮膚及機構之製造產生表情影片呆滯微笑驚訝憤怒子題三A 人臉辨識連續影像訓練樣本人臉偵測人臉追蹤結果人臉特徵擷取辨識強分類器使用AdaBoost訓練子題三B 手勢辨識手勢範例連續影像手部偵測向左轉後退停止手部追蹤Face FeatureExtraction擷取手部相對位置向右轉前進注意分類器辨識結果子題三C 障礙物偵測及三度空間定位三度空間定位相機校正轉灰階左右連續影像尋找配對區塊區塊信賴度是否大於門檻值否障礙物偵測是捨棄定位結果子題四 樂譜辨識RestorationPartitionOriginal Image Modified ImageImage BoundaryPartition ObjectsBinarizationRecognitionModified Image Binary Image Numbered Musical Notation RecognitionPartitionRestoration針對轉換後的灰階影像，進行扳正演算法，利用Morphological法定位樂譜影像中最大的封閉連通域，再使用Hough Transform偵測影像中樂譜的四個邊界直線，最後使用雙線性內插法重繪新的扳正樂譜影像。如此就可以得到復原後的扭曲樂譜影像。 利用水平與鉛直投影法切割二值化樂譜影像中的樂譜符號與羅馬拼音影像，再使用切割後的影像區塊之長度與寬度，以及區塊中像素的密度判斷為樂譜符號區或羅馬拼音區，最後使用樂理規則針對擷取出的影像區塊做統計誤差校正，並將樂譜符號區塊與羅馬拼音區塊資訊回傳給辨識過程。 BinarizationRecognition針對樂譜符號與羅馬拼音樣本影像建立對應的編碼資料庫，依據編碼特徵值，搭配影像細化的技術，在字型大小固定的情況下，我們提供高達95%的辨識率。 合併Otsu與Local Threshold法來將影像二值化，如此可清楚地將簡譜數字符號與背景分離，避免機器人拍攝的影像受到光害與雜訊的影響。 * motor driver 1 motor driver 2 pwm1/dir1 pwm2/dir2 rate gyro tilt sensor encoder 1 encoder 2 adc1 adc2 Int 1 Int