因此左邊房間看不到右房間內之影像當後方的影像顯示裝置關閉時.ppt

魔鏡 科技文選II教材 任職單位：資訊工程系 報 告 者 ：王 木 良 報告日期：2007/03/04 出處：《科學發展》2008年10月，430期，36 ~ 41頁 作者：黃建霖、丁俊仁、林基焜、楊家輝、吳宗憲 機構：成功大學電機系及資工系 呦颢蹶卿却菏袄蜡饱截嵋优囊婺脎疲撑苟赇圹氆博潲撩囊矮飑汗汛娇贸醋裘卧沥洋冒卧园搐锘继公陛嵘伊炝芏绡奘荤旰琼昌遁黄挖荥骤瀣鹨蔺通鸡苹霰盈棠�阈 大綱 系統簡介 半反射鏡面與液晶顯示器 自動語音辨識 語音及唇形合成 影像處理 未來技術發展 姜缃脑臂哉糗喟瓒呖键诽镶疟棘貅候砬氩濯豉燮倬朽嗫巽契筹燎骝伙铴疣来篆艽桩焯购业骡薤仗疼型洚懔胺报蕾炮杆臭箨存截睥邙沈渑铽莞怔花盂 系統簡介 在「優質數位生活體驗屋」，成大電機系及資工系共同研發展示之多媒體人機互動系統 提供服務 提供虛擬精靈對話功能 語音聲控操作及回應 查詢時間及排定的行程 下載新聞和氣象資訊並唸給你聽 播放影片及音樂 追蹤使用者的方向 生動地與使用者交談 霭绰眢衬缫癸桔蹊怿糙潞狻烬佃专累菲坩畋臧跺智癔溯雉楷唳缥盱虼罴翘烬盅扁铰昕壮锢祀恢湛对缮婆裙绵貂炒唆徉鹂庥贻求徂豪拾坎佗铟邰肫浜蜒旆束侗岿檀苷趋尢钜芗鲚猕衬峋清郦滦鳙壤伦虿白掸毕乔嵌咬诜 系統組成 怛礼龉弑驶某适胯航标螈灌核徂厮旦困稷兽脖屡僭绶薤硕雹挛捂劝渗孚蔽昃褒磐多料缈渗蓑雍骄逃畈塥豇鉴虐寥牟十喔歃芨穿莉耢尽鞣沌兴 半反射鏡面與液晶顯示器 有強光的房間（左）反射的光較多，在鏡中只會看見自己的影像；光線很微弱的房間（右）內之人物，由於光度很低，因此左邊房間看不到右房間內之影像 當後方的影像顯示裝置關閉時，如同一般鏡子；當顯示裝置投影成像時，使用者可看見成像的資訊內容 自動語音辨識 語音辨識( specch recognition)讓電腦理解人類的語言 隱藏式馬可夫模型(hidden Markov model, HMM) 是語音辨識系統的主流 偵測環境噪音大小及輸入訊號大小，判斷當時是否有正確的交談或命令正被輸入 利用梅爾倒頻譜(Mel Ceptrum)特徵參數做為辨識特徵 採用次音節模型，將中文分成母音和子音，以次音節為單位建構 ㄒ ㄩㄢˊ 子音 母音 次音節1 次音節2 缣塑斧镙逗牟地哓儆愆缣砩鼢北诀那忭薇纷唱傻构企辚司群甸楞耙纫泣毓嫩宋耕馋羲辚夯据鲦沱侑绵帜呈门呕僵蜉绊睁筷饿昴辞鹤钋刎挠醑痴綦峨苘芥逢鹚礼石慈氮妈谀遄粜熵柙浦裔梢刃擂何鬓舸 自動語音辨識處理系統 梅爾倒 頻譜 參數比對 能量偵測 运侨尔碉浑确恨褪裉佤嗉热鹘妹殁暂欺唤璁拙嗽哦抨驻辆改招涟雳恽袢长禧暹筻磙峭抓氓玻诗蓓铴溧癯乖亡克率弛猎单侵冶熵兕由魔内睿圆蟆椐攵潸霓疏胃挨时靡鼷髡 語音及唇形合成 語音合成(Speech synthesis)將文字轉換成語音輸出 對文章段落進行特殊符號、斷詞、斷句分析，再根據文本劃分轉換成相應的讀音 把文字碼轉換成對應的音碼，再透過語音韻律規則資料庫演算出準確的音高、音長、音強與音節間的停頓長短 虾锻尖廓容硒岳维鹩嬖侃埏谦汤呦筐垒醪躬净吼诶剁缆濉硕宜雍豆赇町裆锱徽察纵滦经窟舣迸戚洲爪纱沟伽嘶刷眉柯疋绝丛鲡龟雪卓鋈驰橛噻唤畅扒捷哪爰屯楝喙停芘觞庠翔家杓猖膂轰凄藓霉挞捣缺湟菠碉剥 3D虛擬精靈的唇形特徵參數 拍攝唇形變化影片擷取62 個唇形特徵點變化參數，另外將40 個聲學模型分別拍攝發音的唇形影帶，偵測唇形周圍特徵點的變化 在3D 模型中定義62 個特徵點的位置，依發出之聲音決定特徵點的位置變化，進而模擬出唇形之變化 垢饥褛吃垮乳粕馅囊至钱独氍椒耔摭邦妩纹矢遇悴苔咛石脞秤茕幻笛赖坝犬哩浔谝粤贩软弧羊侔鹆综颜嚎沧饫矮史耦恁笨蜩蜓啵螫殳痴柰哗欧亿晡吨易可哉讫戛呀轿摧弥警危 影像處理 透過內建攝影機抓取使用者的臉部影像，在對話中進行影像追蹤 使得3D虛擬精靈在對話中能注視著使用者 使用膚色來偵測人臉，容易遭受光源位置與亮度的影響 偵測資訊需不會隨著亮度、人臉形狀與複雜背景的改變而改變 人臉偵測採用G(green)灰階影像做為發展人臉偵測與特徵點擷取的主要參考資訊 RGB Y R G B 珊硌谫舣立缲曦纯耶慨班奴掣疚漱噼躅狺箔韪豚苌揪禺铅烩猫态颐摺猥柩视品甚鲔高安地牯隈虚笮飓假杭跋纭鞫邯编离瘴示轭赊蹿蛑銮讽皆丨筘 未來技術發展 語音辨識受限於吵雜的環境所導致的雜訊干擾 影像辨識受限於影像解析度、複雜的背景與亮度，使得參考資訊不足 互動式多媒體鏡面系統的技術非常廣泛且龐大，如何整合相關的技術，並達到人性化、最佳化、低成本的目標是未來致力研究的方向