人脸连续嘴唇变动之自动侦测.PDF

Multimedia on e-learning 黃文楨 國立高雄第一科技大學 資訊管理研究所 人臉連續嘴唇變動之自動偵測 黃文楨 高雄第一科技大學資訊管理研究所 張簡才祿 高雄第一科技大學資訊管理研究所 陳瑞泰 高雄第一科技大學資訊管理研究所 簡介 • 輔助語音辨識 – 聲音易受外部環境干擾所影響 – 多來源資訊可以增加準確性 – 透過嘴唇唇型變動來輔助 簡介 • 多來源訊息包含： – 聲音、嘴唇、肢體動作… • 嘴唇視覺化訊息 – 優點 • 不受外界環境干擾 • 可補足聲音辨識的不足 相關研究 • 嘴唇輪廓樣板 – 透過Fuzzy C-means分群法 – Fuzzy C-means分群法也會受到顏色對比強度 而有所影響 – 需較多計算時間 相關研究 • 顏色空間轉換 – 轉換成另一種顏色系統用來加強嘴唇跟膚色的 對比 – 轉換過後會有許多雜訊，所以在顏色對比不明 顯時要畫分出嘴唇的輪廓邊界會變的較困難 – 處理時間較快速 嘴唇自動偵測流程 人臉範圍 嘴唇顏色 雜訊去除 嘴唇區塊 偵測 切割 擷取 RGB 形態學運算 編號演算法 HSV 中間值濾波器 偵測嘴唇區塊 人臉範圍偵測 • 透過YCbCr來切割出皮膚顏色 最上邊界線 最右邊界線 最左邊界線 最下邊界線 嘴唇顏色切割 • RGB顏色系統切割 R 限制：Llim ≤ ≤Ulim G  R 1← ≤ ≤U  Llim lim 條件：if  G  0 ←otherwise  嘴唇顏色切割 • HSV顏色系統切割 – H －＞大於300到小於60 – S －＞範圍值介於[0.16,0.85] – V