基于乐器特征提取的音乐源分离技术
Demo展示网页
李陈依
介绍
与 VocEmb4SVS 框架所述的思想一样，本技术尝试对音乐源分离技术的待分离目标源的特征进行提取，用该源特征嵌入来指导系统的分离。系统框架图如下图所示：
图中的“源特征提取模型”表示乐器特征提取模型， $t$ 是提取得到的乐器特征嵌入（source embedding），而 $𝑡_𝑎$ 表示经过适应块处理得到的适应任意分离网络指定隐藏层输入形状的适应性源特征嵌入。
本技术将尝试对多种乐器进行分离，使用的数据集根据乐器的种类而有所不同。其中，对drums, bass使用MUSDB18 数据集，对piano和管弦乐等使用华为内部自购数据。
Bass
本部分的案例名称含义如下：
Mixture：原始混合音乐；
ResUNetDecouple+和HDemucs表示仅使用ResUNetDecouple+模型或HDemucs分离混合音乐Mixture得到bass乐器声；向ResUNetDecouple+模型中引入bass特征嵌入的不同方法：
Res_fnt：向ResUNetDecouple+模型中引入微调后(fnt)的bass乐器分类特征嵌入；
Res_tim_sep_fnt：向ResUNetDecouple+模型中引入微调后(fnt)的bass乐器音色(tim)特征嵌入，其特征嵌入经过预分离网络之后提取得到(sep);
Res_clstim_sep_pre：向ResUNetDecouple+模型中引入预训练好的(pre)的bass乐器联合(clstim)特征嵌入，其特征嵌入经过预分离网络之后提取得到(sep);向HDemucs模型中引入bass特征嵌入的不同方法：
HD_fnt：向HDemucs模型中引入微调后(fnt)的bass乐器分类特征嵌入。
Case 1
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_fnt |  |
| Res_tim_sep_fnt |  |
| Res_clstim_sep_pre |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_fnt |
| Res_tim_sep_fnt | Res_clstim_sep_pre | |
| Reference | HDemucs | HD_fnt |
Case 2
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_fnt |  |
| Res_tim_sep_fnt |  |
| Res_clstim_sep_pre |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_fnt |
| Res_tim_sep_fnt | Res_clstim_sep_pre | |
| Reference | HDemucs | HD_fnt |
Case 3
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_fnt |  |
| Res_tim_sep_fnt |  |
| Res_clstim_sep_pre |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_fnt |
| Res_tim_sep_fnt | Res_clstim_sep_pre | |
| Reference | HDemucs | HD_fnt |
Drums
本部分的案例名称含义如下：
Mixture：原始混合音乐；
ResUNetDecouple+和HDemucs表示仅使用ResUNetDecouple+模型或HDemucs分离混合音乐Mixture得到drums乐器声；向ResUNetDecouple+模型中引入drums特征嵌入的不同方法：
Res_pre：向ResUNetDecouple+模型中引入预训练好的(pre)的drums乐器分类特征嵌入；
Res_tim_pre：向ResUNetDecouple+模型中引入预训练好的(pre)的drums乐器音色(tim)特征嵌入;向HDemucs模型中引入drums特征嵌入的不同方法：
HD_pre：向HDemucs模型中引入预训练好的(pre)的drums乐器分类特征嵌入。
Case 1
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_tim_pre |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_tim_pre | ||
| Reference | HDemucs | HD_pre |
Case 2
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_tim_pre |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_tim_pre | ||
| Reference | HDemucs | HD_pre |
piano
本部分的案例名称含义如下：
Mixture：原始混合音乐；
ResUNetDecouple+和HDemucs表示仅使用ResUNetDecouple+模型或HDemucs分离混合音乐Mixture得到piano乐器声；向ResUNetDecouple+模型中引入piano特征嵌入的不同方法：
Res_pre：向ResUNetDecouple+模型中引入预训练好的(pre)的piano乐器分类特征嵌入；
Res_fnt：向ResUNetDecouple+模型中引入微调的(fnt)的piano乐器分类特征嵌入;向HDemucs模型中引入drums特征嵌入的不同方法：
HD_pre：向HDemucs模型中引入预训练好的(pre)的piano乐器分类特征嵌入。
Case 1
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_pre |
Case 2
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_pre |
Case 3
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_pre |
Case 4
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_pre |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_pre |
brass_string
本部分的案例名称含义如下：
Mixture：原始混合音乐；
ResUNetDecouple+和HDemucs表示仅使用ResUNetDecouple+模型或HDemucs分离混合音乐Mixture得到管弦乐器声；向ResUNetDecouple+模型中引入管弦特征嵌入的不同方法：
Res_pre：向ResUNetDecouple+模型中引入预训练好的(pre)的管弦乐器分类特征嵌入；
Res_fnt：向ResUNetDecouple+模型中引入微调的(fnt)的管弦乐器分类特征嵌入;向HDemucs模型中引入管弦特征嵌入的不同方法：
HD_fnt：向HDemucs模型中引入微调的(fnt)的管弦乐器分类特征嵌入。
Case 1
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_fnt |
Case 2
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_fnt |
Case 3
| Mixture |  |
| Reference |  |
| ResUNetDecouple+ |  |
| Res_pre |  |
| Res_fnt |  |
| HDemucs |  |
| HD_fnt |  |
| Mixture | ResUNetDecouple+ | Res_pre |
| Res_fnt | ||
| Reference | HDemucs | HD_fnt |