Python语音合成（日文翻译）

2023-03-05 06:38:02Python09

Python语音合成（日文翻译）,第1张

原文：

Python version

ttslearn のインストール

ttslearn の动作确认

パッケージのインポート

描画周りの设定

NumPy と Torch を用いた配列の作成

numpy.ndarray と torch.Tensor のインタフェースの违い

numpy.ndarray と torch.Tensor の相互変换

numpy.ndarray と torch.Tensor のメモリ共有

scipy.io.wavfile を利用した音声ファイルの読み込み

音声の可视化

窓関数

短时间フーリエ変换の実装

短时间フーリエ変换の结果の可视化

librosa.stft を用いた短时间フーリエ変换

librosa.stftは、STFTを実行する前にデフォルトで信号の冒头と末尾にパディング処理を行います。前述のSTFT実装はこの処理をサポートしていないため、同等のSTFTの结果を得るためには、center=Falseとしてパディング処理を行わないように设定します。

时间解像度と周波数解像度のトレードオフ

逆短时间フーリエ変换による音声の复元

メルフィルタバンク

メルスペクトログラムの计算

Griffin-Lim のアルゴリズムに基づく位相复元

瞬时周波数の可视化 (bonus)

Griffin-Limのアルゴリズムは、位相复元手法です。合成音声と自然音声の瞬时位相（位相の时间微分）を比较することで、位相复元が期待通り行われているかを视覚的に确认できます。

翻译：

Python 版本

ttslearn 的安装

ttslearn 的操作确认

导入程序包

设置绘图格式

使用NumPy和Torch创建数组

numpy.ndarray和torch.Tensor之间的接口差异

numpy.ndarray和torch.Tensor的相互转换

numpy.ndarray和torch.Tensor的内存共享

使用scipy.io.wavfile读取音频文件

语音可视化

窗函数

短时傅立叶变换的实现

短时傅立叶变换结果的可视化

使用librosa.stft的短时傅立叶变换

缺省情况下，librosa.stft在执行STFT（短时傅里叶变换）之前会对信号的开头和结尾进行填充。由于上面提到的STFT实现不支持此操作，因此要获得等效的STFT结果，请将填充操作设置为center=False。

在时间分辨率和频率分辨率间权衡取舍

通过逆短时傅立叶变换进行语音的复原

邮件过滤器组

计算质谱图

基于Griffin－Lim算法的相位复原

瞬时频率可视化（bonus）

Griffin-Lim的算法是一种相位恢复方法。通过比较合成语音和自然语音的瞬时相位（相位的时间微分），我们可以直观地看到相位恢复是否按预期进行。

可以使用pydub

1 网址:https://github.com/jiaaro/pydub

2 pydub需要依赖 libav或者ffmpeg

3 在mac环境下安装依赖：(二选一)

[plain] view plaincopy

brew install libav --with-libvorbis --with-sdl --with-theora

将所有依赖都安装上~~

brew install ffmpeg --with-fdk-aac --with-ffplay --with-freetype --with-frei0r --with-libass --with-libvo-aacenc --with-libvorbis--with-libvpx --with-opencore-amr --with-openjpeg --with-opus --with-rtmpdump --with-schroedinger --with-speex --with-theora --with-tools --with-fdk-aac --with-freetype --with-ffplay --with-ffplay --with-freetype --with-frei0r --with-libass --with-libbluray --with-libcaca --with-libquvi --with-libvidstab --with-libvo-aacenc --with-libvorbis --with-libvpx --with-opencore-amr --with-openjpeg --with-openssl --with-opus --with-rtmpdump --with-schroedinger --with-speex --with-theora --with-tools --with-x265

4 安装pydub: pip install pydub

5 使用pydub:

下载是示代码

enPath = "%s%s/%s"%(enDir,file,enfile) #英文文件的路径

cnPath = "%s%s/%s"%(cnDir,file,enfile.replace("en_w","cn_w"))#中文文件的路径

targetPath = "%s%s/%s"%(toDir,file,enfile.replace("en_w","all")) #合并文件的路径

#加载MP3文件

song1 = AudioSegment.from_mp3(enPath)

song2 = AudioSegment.from_mp3(cnPath)

#取得两个MP3文件的声音分贝

db1 = song1.dBFS

db2 = song2.dBFS