【小项目-1】用Python进行人声伴奏分离和音乐特征提取

Python029

【小项目-1】用Python进行人声伴奏分离和音乐特征提取,第1张

比如采样率为22050,音频文件有36s,那么x为长度为22050*36=793800的float。

用到了python库 Spleeter

抽象地了解下原理吧

参考文章是这篇:Spleeter: a fast and efficient music source separation tool with pre-trained models

原理文章是这篇 SINGING VOICE SEPARATION: A STUDY ON TRAINING DATA

粗略扫了一眼,原理主要是用U-Net进行分割,然后这个Python工具主要是利用了一个pre-trained的model。

参考链接:机器之心的一篇文章

纵轴表示频率(从0到10kHz),横轴表示剪辑的时间。由于我们看到所有动作都发生在频谱的底部,我们可以将频率轴转换为对数轴。

可以对频率取对数。

感觉这个参数蛮有意思的

整个频谱被投影到12个区间,代表音乐八度音的12个不同的半音(或色度), librosa.feature.chroma_stft 用于计算。

先对音频进行短时傅里叶变换

其中每行存储一个窗口的STFT,大小为1025*1551

这里要注意理解怎么基于stft的结果来画频谱图

没太了解,感觉就大概知道有这么个量可以用到就行。

librosa.feature.spectral_centroid 计算信号中每帧的光谱质心:

1. 先理解连续傅里叶变换

2. 再理解离散傅里叶变换

对连续函数进行离散采样

3. 最后进入短时傅里叶变换

是先把一个函数和窗函数进行相乘,然后再进行一维的傅里叶变换。并通过窗函数的滑动得到一系列的傅里叶变换结果,将这些结果竖着排开得到一个二维的表象。

首先,安装相应的音视频处理库:

然后,导入库,并读取相应的视频文件,将音频导出:(路径修改为自己的路径)

主要思路:用字符串保存时:分:秒,然后对应不同的音轨(下面以列表的方式)进行裁剪,注意:AudioSegment的单位是毫秒,所以在取切片时乘以1000。

这样就完成了。

最多五人。

Spleeter 是什么 这是来自法国的音乐流媒体公司Deezer开源的一个音轨分离软件spleeter,只需输入一段命令就可以将音乐的人声和各种乐器声分离,支持mp3、wav、ogg等常见音频格式。

它由 Python 作为主要语言,并且使用了 TensorFlow 来进行模型训练。