miracle a multimodal internet music search engine 多模式网际网 .ppt

MIRACLE 語者辨識（Speaker Recognition） 張智星 Jang@.tw .tw/~jang 自我介紹 學歷 1980-84: 台大電機系 1987-92:電機電腦（EECS）博士、美國加州大學柏克萊分校（指導教授：Prof. Lotfi Zadeh, Father of Fuzzy Logic） 研究重點 Speech/Melody Recognition, Neural Networks, Fuzzy Logic 經歷 1992-93：研究員，電機電腦系、加州大學柏克萊分校 1993-95：應用工程師，美國麻州 MathWorks 公司（MATLAB總公司），完成 Fuzzy Logic Toolbox 1995-至今：副教授，清華大學資訊系 大綱 何謂語者辨識 語者辨識的應用 語者辨識的方法 「電話聲紋追蹤系統」速度與辨識率 結論 何謂語者辨識 語者辨識 (Speaker Recognition): 以語音的特性來進行語者的身份識別或確認： 語者識別（Speaker Identification）：以語音來辨識語者的身份 語者確認（Speaker Verification）：以語音來確認語者是否為所宣稱之身份 類別 可使用固定語句（Text-dependent）或不固定語句（Text-independent）來進行辨識 語者識別的範圍可以是固定集合（Fixed set）或是不固定集合（Open set） 語者辨識的原理 由於每個人的聲帶、聲道、口腔、鼻腔等生理結構不同，加上講話習慣（如速度、音高、節奏等）的不同，因此我們可以藉由語音的分析，來抓出語者特性，並進而辨識語者的身份。 語者辨識的應用 語者隔離（Speaker segregation）：從混雜多人的語音資料中，隔離某一特定語者的語音資料 生物認證（Biometric identification）：以語音識別或確認某個人的身份 電話自動監聽：對大量的電話語音資料進行聲紋比對，並追蹤可能的罪犯行蹤。 語者辨識的流程 前置處理 收集目標語者的語音資料 抽取語音特徵向量（Mel-frequency cepstral coefficient，簡稱 MFCC） 建立數學模型（高斯混合模型或Gaussian mixture model，簡稱 GMM） 即時處理 錄取待辨識語音 抽取語音特徵向量 代入先前數學模型，得到辨識結果 電話聲紋追蹤系統：功能 功能： 本系統可對攔截到的大量語音對話進行比對，並根據 GMM 所算出來的機率來排序，能將正確目標語音推送到排名的前 10%。換句話說，如果我們攔截到 1000 通電話對話，經由本系統比對後，可以剔除 900 通，監聽人員只要監聽剩下較可能的 100 通對話，就可以獲取到同樣的效果，達到事半功倍的目標。 電話聲紋追蹤系統：辨識率 與辨識率概估的相關數據 目標語者：10 人 目標語音總長度：1 分鐘 測試語音：長度 1 分鐘，共 100 通 錄音規格：取樣頻率 8KHz，解析度 8-bit 電話聲紋追蹤系統：運算速度 運算速度及資料處理量 平台：Pentium 2.4 GHz CPU，512 MB DDR RAM 前置處理：對於 1 分鐘的目標語音進行 Feature Extraction，約需 2.8秒，再進行 8-Gaussian GMM 建模，約需 2.1 秒，因此共需要 4.9秒。 即時處理：對於 1 通測試語音（長度 1 分鐘）進行 Feature Extraction，約需 2.8秒，再對 10 個 8-Gaussian GMM 機率計算（假設目標語者有 10 人），約需 0.7 秒，因此共需3.5秒。 根據上述的資料，假設目標語者有 10 人，如果我們使用 1 台個人電腦不斷運算，就可以同時持續處理 20 通對話，若使用 5 台電腦進行平行處理，就可以同時持續處理 100 通對話。 電話聲紋追蹤系統：展示 改進方向 計算的瓶頸是在於 feature extraction，只要這部分的速度加快，整體的資料處理量也會跟著增加。這方面還有很大的改進空間，因為我們可以使用 fixed-point 來取代 floating-point 運算，或是採取其他簡化的計算方式，在不影響辨識率太大的情況下，來增加資料處理量。 結論 由於目前個人電腦的速度突飛猛進，因此以前需要以超級電腦來進行的聲紋比對工作，目前使用一般個人電腦就可以勝任，所以我們就可以以平行處理的方式，來對大量的電話語音資料進行聲紋比對，並追蹤特定語者的行蹤。 * *