타코트론2 한국어 오디오 샘플

Paper: arXiv

"타코트론 2"는 Spectrogram Prediction Network와 modified Wavenet으로 구성되어 있다. 구글 Deepmind 에서 개발된 Wavenet은 input이 복잡한 단점이 있는데 (linguistic and acoustic feature with phase information) 이 논문에서 input으로 phase information이 discarded된 mel spectrogram사용한다. 이전 타코트론에서 사용된 Griffin-Lim 알고리즘 대신 WaveNet을 사용하여 더욱 Human-like voice 품질을 보여준다.

한글 같은 경우에는 음절 하나가 자음과 모음으로 분해될 수 있고, 여타 언어와 다르게 발음 규칙이 복잡할 수 있다. 본 실험에서의 한국어 최적화 부분에 있어 아직 실험 단계에 있다.

ㅇ ㅏ ㄴ ㄴ ㅕ ㅇ ㅎ ㅏ ㅅ ㅔ 요 → Character Embedding 
      → 3 convolution Layers → Bi-directional LSTM (512 neurons) → encoded features
             → Attention Unit
                → LSTM layer (2 uni-directional layers with 1024 neurons) → Linear Transform → Predicted Spectrogram Frame
       → PostNet (5 Convolutional Layers) → Enhanced Prediction
 
.. and Finally → modified Wavenet

---