基于时域上基周同步叠加法之歌声合成系统SingingVoiceSynthesis.PDF

Proceedings of the Twenty-Fifth Conference on Computational Linguistics and Speech Processing (ROCLING 2013) 基基基於於於時時時域域域上上上基基基週週週 同同同步步步疊疊疊加加加法法法之之之歌歌歌聲聲聲合合合成成成系系系統統統 Singing Voice Synthesis System Based on Time Domain-Pitch Synchronized Overlap and Add 吳銘冠 Ming-Kuan Wu 陳嘉平 Chia-Ping Chen 國立中山大學資訊工程系 Department of Computer Science and Engineering National Sun Yat-Sen University 摘摘摘要要要 在本研究 中 ，我們提 出並實作一個 串接式的歌聲合成系統 ，用來產生具有配樂的合 成歌聲 。語料庫的錄製是根據注音符號檢字表來錄製 ，並錄製三種不 同的音高 。我們 將主旋律 中的力度 、音符編號 、起始時間和結束時間來當作合成 資訊 ，並加入了轉音 的資訊 。在合成單元的處理上 ，採用時域上基週 同步疊加法來對合成單元做時域上的 修改 。我們提供一個歌 曲的選擇介面供使用者來進行歌 曲的合成 ，並加入了一些對於 合成歌 曲的調整 。包括 了整體上音符編號的調整 、歌詞的修改等等 。此外 ，也做 了一 些聽測實驗 ，來進行合成歌 曲的品質 、清晰度和相似度的評估 。品質評估方面 ，合成 歌 曲加上配樂有改善的效果 。清晰度和相似度評估方面 ，簡單的歌 曲有較好的表現 。 關關關鍵鍵鍵詞詞詞 ：：：串接合成方法 、歌聲合成 、時域上基週 同步疊加法 Abstract In this study, we propose and implement a concatenation-based singing synthesis system to synthesize the singing voice with background music. We record three dierent pitches to build our corpus for all syllables. The synthesis informations, including velocity, note number, start time and end time are extracted from the main melody. Runs and ris information was added into consideration afterward. We use TD-PSOLA to modify the synthesis units in time domain. At last, we add back the background music extracted from MIDI to our synthesis song. We implemented a user interface for users to synthesize songs. This interface can be used to adjust the synthesis songs, for example, adjust the overall pitches in the song, modify syllables, etc. Finally, we evaluate the quality, clarity and similarity of the synthesis songs. The results show that the proposed method achieve better re