自动记谱软体Auto-Transcription.PPT

Computer Music 游擱嘉 你曾經覺得現在的歌星唱歌實在太難聽了，希望能把他們的聲音關掉，自己錄一張一模一樣的專輯寄回去唱片公司跟歌星嗆聲? Topics to be Discussed 樂音分離系統(Separation of Musical Signals) 自動記譜軟體(Auto-Transcription) Wav to midi Separation of Musical Signals Separation of Musical Signals(樂音分離): 如何在混合在一起的樂音中, 分辨並分離出不同的聲音? Separation of Musical Signals 除Fourier Transform外, 沒有可以information loss的信號處理演算法. 於是越處理只會使得資訊越來越少, 沒辦法recover原來的資料. 到目前為止還沒有萬全的解決辦法. Separation of Musical Signals Why do we need to separate musical signals? For better understanding For better sound effects For better transcription results Separation of Musical Signals One of the Approaches Identifying different musical instruments 讓電腦有能力聽出音色的差異 Trajectory Classification Separation of Musical Signals Some Results: (Tuomas Virtanen, Anssi Klapuri, Signal Processing Laboratory, Tampere University of Technology, Finland) Topics to be Discussed 樂音分離系統(Separation of Musical Signals) 自動記譜軟體(Auto-Transcription) Wav to midi Basic Terms in Computer Music 數位音樂訊號的儲存格式可分為兩類: An Overview of Computer Music Auto-Transcription Systems Auto-Transcription System(自動採譜系統) 希望能把雜亂的聲音資訊, 記錄成樂譜的格式 Music-Content的data有利於進一步的處理 儲存: 檔案的大小可以大大的縮小 搜尋: 可以用Music-Content來搜尋樂曲, 不再藉助文字. Example: 超級點歌王(清蔚科技) Auto-Transcription Systems 基本的想法 Wav檔記錄的是聲音訊號的大小. 而Midi檔記錄的是響度, 音調(音高), 音色. i.e. 看畫展 實作的方法需要跨領域跨領域的知識 信號處理, 樂理, 音樂心理學(psycho-acoustic), 聲學 Auto-Transcription Systems 問題: 如何辨識音調(音高) 樂音: 從頻譜上來看會多個peak value, 並不是單一頻率的信號. Auto-Transcription Systems One Solution: A Phonotopic Map Model for Memorization and Recognition of Musical Sounds (Wu-Hsi Li) 模擬大腦中神經元受刺激的形式, 每個神經元記錄了一種一種頻譜的形式(樂音), 經輸入音樂訓練後, 細胞會漸漸分化, 最後對特定聲音才會起反應. A Phonotopic Map Model for Memorization and Recognition of Musical Sounds Courtesy of Wu-Hsi, Li, NTUEE Next! More on 3-D Sounds! * * An Introduction to Why? Why Not? 2 Pianos Trumpet + Oboe Separated Original Music-Content Representaion Waveform Representation 只紀錄樂曲裡的的音樂資訊:如音色, 音量與音高 單純紀錄analog聲音波形的數位化結果 樂譜/ 文字敘述 平常聽到的CD音樂 / 畫 Midi檔 .wav