基于短时谱一致性的神经网络声码器训练方法

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112634914A(43)申请公布日2021.04.09(21)申请号202011482467.6(22)申请日2020.12.15(71)申请人中国科学技术大学地址230026安徽省合肥市包河区金寨路96号(72)发明人艾杨　凌震华　(74)专利代理机构中科专利商标代理有限责任公司11021代理人鄢功军(51)Int.Cl.G10L19/16(2013.01)G10L25/30(2013.01)G10L13/02(2013.01)权利要求书2页说明书6页附图3页(54)发明名称基于短时谱一致性的神经网络声码器训练方法(57)摘要本发明公开了一种基于短时谱一致性的神经网络声码器训练方法，包括：使用自然声学特征和自然对数幅度谱训练幅度谱预测器，使用自然对数幅度谱、自然基频和自然波形训练相位谱预测器；将训练后的幅度谱预测器和相位谱预测器进行连接，通过自然声学特征、自然对数幅度谱、自然基频和自然波形训练连接后的幅度谱预测器和相位谱预测器；本发明提供的神经网络声码器训练方法，首先分别训练幅度谱预测器和相位谱预测器，最后加入短时谱一致性损失函数联合训练幅度谱预测器和相位谱预测器，能够极大地改善预测的幅度谱和相位谱组成的短时谱的不一致问题，进而提高合成语音的质量。CN112634914ACN112634914A权　利　要　求　书1/2页1.一种基于短时谱一致性的神经网络声码器训练方法，其中，所述神经网络声码器包括幅度谱预测器和相位谱预测器，其特征在于，包括：使用自然声学特征和自然对数幅度谱训练所述幅度谱预测器，使用自然对数幅度谱、自然基频和自然波形训练所述相位谱预测器；将训练后的所述幅度谱预测器和所述相位谱预测器进行连接，通过所述自然声学特征、所述自然对数幅度谱、所述自然基频和所述自然波形训练连接后的所述幅度谱预测器和所述相位谱预测器；其中，通过对自然波形进行特征提取得到所述自然声学特征和所述自然基频，对所述自然波形进行短时傅里叶变换得到所述自然对数幅度谱，所述自然波形为用于模型训练的真实录音的语音波形。2.根据权利要求1所述的方法，其特征在于，所述使用自然声学特征和自然对数幅度谱训练所述幅度谱预测器包括：所述幅度谱预测器根据输入的所述自然声学特征得到第一预测对数幅度谱；通过所述自然对数幅度谱和所述第一预测对数幅度谱计算得到幅度谱预测器损失函数，其中，所述幅度谱预测器损失函数为所述第一预测对数幅度谱与所述自然对数幅度谱的均方误差；以所述自然对数幅度谱作参考，通过所述幅度谱预测器损失函数对所述幅度谱预测器进行训练。3.根据权利要求1所述的方法，其特征在于，所述使用自然对数幅度谱、自然基频和自然波形训练所述相位谱预测器包括：将所述自然基频输入到所述相位谱预测器的源模块中，输出正弦激励信号；将所述正弦激励信号和所述自然对数幅度谱输入到所述相位谱预测器的滤波模块，输出第一样本波形；以所述自然波形作参考，根据所述第一样本波形并通过相位谱预测器损失函数对所述相位谱预测器进行训练；其中：所述相位谱预测器损失函数为幅度谱损失、波形损失和负相关系数损失之和；所述幅度谱损失为所述自然波形和所述样本波形中提取的幅度谱之间的均方误差；所述波形损失为所述自然波形和所述样本波形在其对应的时域的均方误差；所述负相关系数损失为所述自然波形和所述样本波形的负相关系数。4.根据权利要求1所述的方法，其特征在于，所述通过所述自然声学特征、所述自然对数幅度谱、所述自然基频和所述自然波形训练连接后的所述幅度谱预测器和所述相位谱预测器包括：所述幅度谱预测器根据输入的所述自然声学特征输出第二预测对数幅度谱；所述相位谱预测器根据输入的所述第二预测对数幅度谱和所述自然基频提取预测相位谱；将所述第二预测对数幅度谱和所述预测相位谱组合得到预测短时谱；通过对所述预测短时谱计算得到预测短时谱一致性损失函数；通过联合损失函数对所述幅度谱预测器和所述相位谱预测器进行训练；其中：所述联合损失函数为所述预测短时谱一致性损失函数、所述幅度谱预测器损失2CN112634914A权　利　要　求　书2/2页函数和所述相位谱预测器损失函数之和。5.根据权利要求4所述的方法，其特征在于，所述幅度谱预测器根据输入的所述自然声学特征输出第二预测对数幅度谱包括：其中：ASP 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示幅度谱预测器，表示第n帧的预测对数幅度谱，k表示频率点索引，a表示自然声学特征。6.根据权利要求4所述的方法，其特征在于，所述相位谱预测器根据输入的所述第二预测对数幅度谱和所述自然基频提取预测相位谱包括：将所述自然基频输入到所述相位谱预测器的源模块中，输出正弦激励信号；将所述正弦激励信号和所述第二对数幅度谱输入到所述相位谱预测器的滤波模块，输出第二样本波形；通过短时傅里叶变换从所述第二样本波形中提取预测相位谱。7.根据权利要求6所述的方法，其特征在于，所述通过短时傅里叶变换从所述第二样本波形中提取预测相位谱包括：其中：表示第二预测对数幅度谱，f表示自然基频，PSP表示相位谱预测器，ANG表示从短时谱中取角度的操作。8.根据权利要求4所述的方法，其特征在于，所述将所述第二预测对数幅度谱和所述预测相位谱组合得到预测短时谱包括：其中：j为虚数单位。9.根据权利要求4所述的方法，其特征在于，所述通过所述预测短时谱得到预测短时谱一致性损失函数包括：10.一种利用根据权利要求1～9任一项所述的基于短时谱一致性的神经网络声码器训练方法得到的神经网络声码器进行语音合成的方法，其特征在于，包括：将测试的声学特征输入到所述幅度谱预测器中，输出测试对数幅度谱；将所述测试对数幅度谱和测试的基频输入到所述相位谱预测器中，输出测试相位谱；将所述测试对数幅度谱和所述测试相位谱组合成测试短时谱；将所述测试短时谱通过逆短时傅里叶变换得到测试的语音波形。3CN112634914A说　明　书1/6页基于短时谱一致性的神经网络声码器训练方法技术领域[0001]本发明涉及语音信号处理技术领域，尤其涉及一种基于短时谱一致性的神经网络声码器训练方法及语音合成方法。背景技术[0002]语音合成(speech synthesis)旨在使机器像人类一样流畅自然地说话，它使许多语音交互应用受益，例如智能个人助理和机器人。当前，统计参数语音合成(statistical parametric speech synthesis，SPSS)是其中一种主流的方法。[0003]统计参数语音合成利用声学模型来建模文本特征和声学特征之间的关系，并利用声码器(vocoder)在给定预测声学特征的情况下得到语音波形。声码器的性能会显著影响合成语音的质量。传统的声码器如STRAIGHT和WORLD被广泛应用到目前的SPSS系统中。然而，这些传统的声码器存在一些缺陷，例如谱细节和相位信息的丢失，会导致合成语音听感的下降。随着神经网络的发展，一些神经网络声码器逐渐被提出，如自回归的神经网络声码器、基于知识蒸馏的神经网络声码器、基于逆自回归流的神经网络声码器、基于神经网络声门模型和线性自回归的神经网络声码器以及无自回归无流的神经网络声码器等。这些神经网络声码器相比传统声码器大幅提升了SPSS系统合成语音的质量。然而，这些神经网络声码器都对最终的波形或者中间的波形在点级别上进行建模，容易造成模型规模过大或者生成效率过低的问题。于是，幅度相位谱分级预测神经网络声码器HiNet被提出，分别预测语音的幅度谱和相位谱，再合成波形。其一方面更加分别关注于对波形的这两个重要部分的建模，能够提升合成质量；另一方面对谱的建模可以减少点级的运算操作，增加帧级的运算操作，从而提升合成效率。[0004]然而，HiNet声码器存在的一个问题是：由于幅度谱和相位谱的分别预测，二者结合得到的短时谱可能不满足短时谱一致性的条件，造成合成语音波形质量的损失。发明内容[0005]本发明在神经网络声码器的原训练方式基础上， 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 了短时谱一致性损失函数来联合训练神经网络声码器中的幅度谱预测器和相位谱预测器，以减轻预测的幅度谱和相位谱结合的短时谱存在的不一致的问题，提升合成语音质量。[0006]在本发明实施方式的第一方面中，提供了一种基于短时谱一致性的神经网络声码器训练方法，其中，上述神经网络声码器包括幅度谱预测器和相位谱预测器，包括：[0007]使用自然声学特征和自然对数幅度谱训练上述幅度谱预测器，使用自然对数幅度谱、自然基频和自然波形训练上述相位谱预测器；[0008]将训练后的上述幅度谱预测器和上述相位谱预测器进行连接，通过上述自然声学特征、上述自然对数幅度谱、上述自然基频和上述自然波形训练连接后的上述幅度谱预测器和上述相位谱预测器；[0009]其中，通过对自然波形进行特征提取得到上述自然声学特征和上述自然基频，对4CN112634914A说　明　书2/6页上述自然波形进行短时傅里叶变换得到上述自然对数幅度谱，上述自然波形为用于模型训练的真实录音的语音波形。[0010]在本发明的一个实施例中，上述使用自然声学特征和自然对数幅度谱训练上述幅度谱预测器包括：[0011]上述幅度谱预测器根据输入的上述自然声学特征得到第一预测对数幅度谱；[0012]通过上述自然对数幅度谱和上述第一预测对数幅度谱计算得到幅度谱预测器损失函数，其中，上述幅度谱预测器损失函数为上述第一预测对数幅度谱与上述自然对数幅度谱的均方误差；[0013]以上述自然对数幅度谱作参考，通过上述幅度谱预测器损失函数对上述幅度谱预测器进行训练。[0014]在本发明的另一个实施例中，上述使用自然对数幅度谱、自然对数幅度谱、自然基频和自然波形训练上述相位谱预测器包括：[0015]将上述自然基频输入到上述相位谱预测器的源模块中，输出正弦激励信号；[0016]将上述正弦激励信号和上述自然对数幅度谱输入到上述相位谱预测器的滤波模块，输出第一样本波形；[0017]以上述自然波形作参考，根据上述第一样本波形并通过相位谱预测器损失函数对上述相位谱预测器进行训练；[0018]其中：上述相位谱预测器损失函数为幅度谱损失、波形损失和负相关系数损失之和；上述幅度谱损失为上述自然波形和上述样本波形中提取的幅度谱之间的均方误差；上述波形损失为上述自然波形和上述样本波形在其对应的时域的均方误差；上述负相关系数损失为上述自然波形和上述样本波形的负相关系数。[0019]在本发明的又一个实施例中，上述通过上述自然声学特征、上述自然对数幅度谱、上述自然基频和上述自然波形训练连接后的上述幅度谱预测器和上述相位谱预测器包括：[0020]上述幅度谱预测器根据输入的上述自然声学特征输出第二预测对数幅度谱；[0021]上述相位谱预测器根据输入的上述第二预测对数幅度谱和上述自然基频提取预测相位谱；[0022]将上述第二预测对数幅度谱和上述预测相位谱组合得到预测短时谱；[0023]通过对上述预测短时谱计算得到预测短时谱一致性损失函数；[0024]通过联合损失函数对上述幅度谱预测器和上述相位谱预测器进行训练；[0025]其中：上述联合损失函数为上述预测短时谱一致性损失函数、上述幅度谱预测器损失函数和上述相位谱预测器损失函数之和。[0026]在本发明的再一个实施例中，上述幅度谱预测器根据输入的上述自然声学特征输出第二预测对数幅度谱包括：[0027][0028]其中：ASP表示幅度谱预测器，表示第n帧的预测对数幅度谱，k表示频率点索引，a表示自然声学特征。[0029]在本发明的再一个实施例中，上述相位谱预测器根据输入的上述第二预测对数幅度谱和上述自然基频提取预测相位谱包括：5CN112634914A说　明　书3/6页[0030]将上述自然基频输入到上述相位谱预测器的源模块中，输出正弦激励信号；[0031]将上述正弦激励信号和上述第二对数幅度谱输入到上述相位谱预测器的滤波模块，输出第二样本波形；[0032]通过短时傅里叶变换从上述第二样本波形中提取预测相位谱。[0033]在本发明的再一个实施例中，上述通过短时傅里叶变换从上述第二样本波形中提取预测相位谱包括：[0034][0035]其中：表示第二预测对数幅度谱，f表示自然基频，PSP表示相位谱预测器，ANG表示从短时谱中取角度的操作。[0036]在本发明的再一个实施例中，上述将上述第二预测对数幅度谱和上述预测相位谱组合得到预测短时谱包括：[0037][0038]其中：j为虚数单位。[0039]在本发明的再一个实施例中，上述通过上述预测短时谱得到预测短时谱一致性损失函数包括：[0040][0041]在本发明实施方式的第二方面中，提供了一种利用上述训练方法得到的神经网络声码器进行语音合成的方法，包括：[0042]将测试的声学特征输入到上述幅度谱预测器中，输出测试对数幅度谱；[0043]将上述测试对数幅度谱和测试的基频输入到上述相位谱预测器中，输出测试相位谱；[0044]将上述测试对数幅度谱和上述测试相位谱组合成测试短时谱；[0045]将上述测试短时谱通过逆短时傅里叶变换得到测试的语音波形。[0046]本发明实施例提供的短时谱一致性的神经网络声码器训练方法，首先分别训练幅度谱预测器和相位谱预测器，最后加入短时谱一致性损失函数联合训练幅度谱预测器和相位谱预测器，能够极大地改善预测的幅度谱和相位谱组成的短时谱的不一致问题，进而提高合成语音的质量。附图说明[0047]图1是本发明实施例提供的基于短时谱一致性的神经网络声码器训练方法流程图；[0048]图2是本发明实施例提供的分别训练幅度谱预测器和相位谱预测器的流程图；[0049]图3是本发明实施例提供的联合训练幅度谱预测器和相位谱预测器的流程图；[0050]图4是本发明实施例提供的语音合成方法流程图；[0051]图中：1、幅度谱预测器；2、相位谱预测器。具体实施方式[0052]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照6CN112634914A说　明　书4/6页附图，对本发明作进一步的详细说明。[0053]本发明提供的基于短时谱一致性的神经网络声码器训练方法应用于幅度相位谱分级预测的神经网络声码器HiNet中，用于减轻预测的幅度谱和相位谱结合的短时谱存在的不一致的问题。HiNet声码器由幅度谱预测器和相位谱预测器组成。[0054]由于HiNet声码器的幅度谱和相位谱是分开单独预测的，二者组成的短时谱很难满足一致性条件，即组成的短时谱落在短时谱域之外，而其对应的满足一致性条件的短时谱是其经过逆短时傅里叶变换(inverse short‑time Fourier transform，ISTFT)和短时傅里叶变换(short‑time Fourier transform，STFT)后的落在短时谱域内的结果。直观地，缩小组成的短时谱与其对应的满足一致性条件的短时谱之间的差距有助于缓解短时谱不一致的问题，于是本发明提出了短时谱一致性损失函数，定义为二者差的2范数。[0055]下面结合图1对本发明示例性实施方式的基于短时谱一致性的神经网络声码器训练方法进行描述。[0056]图1是本发明实施例提供的基于短时谱一致性的神经网络声码器训练方法流程图。[0057]如图1所示，本发明实施例提供的基于短时谱一致性的神经网络声码器训练方法，包括操作S101～S102，其中，短时谱为时域波形通过加窗截取分为若干部分，再将若干部分进行傅里叶变换拼接后得到。[0058]在操作S101，使用自然声学特征和自然对数幅度谱训练幅度谱预测器，使用自然对数幅度谱、自然基频和自然波形训练相位谱预测器。[0059]在操作S102，将训练后的幅度谱预测器和相位谱预测器进行连接，通过自然声学特征、自然对数幅度谱、自然基频和自然波形训练连接后的幅度谱预测器和相位谱预测器。[0060]需要说明的是，自然波形为用于模型训练的真实录音的语音波形，自然声学特征和自然基频为通过对自然波形进行特征提取得到，自然对数幅度谱是对自然波形进行短时傅里叶变换得到。[0061]在本实施例中，图2是本发明实施例提供的分别训练幅度谱预测器和相位谱预测器的流程图；如图2所示，使用自然声学特征和自然对数幅度谱训练幅度谱预测器，包括操作S211～S213。[0062]在操作S211，幅度谱预测器根据输入的自然声学特征得到第一预测对数幅度谱，TT本实施例中的自然声学特征a＝[a1，...，aN]，其中，an＝[an，1，...，an，C]是第n帧的声学特征，c是声学特征维度索引。[0063]在操作S212，通过自然对数幅度谱和第一预测对数幅度谱计算得到幅度谱预测器损失函数，其中，幅度谱预测器损失函数为第一预测对数幅度谱与自然对数幅度谱的均方误差。[0064]在操作S213，以自然对数幅度谱作参考，通过幅度谱预测器损失函数对幅度谱预测器进行训练。[0065]在本实施例中，如图2所示，使用自然对数幅度谱、自然基频和自然波形训练相位谱预测器，包括操作S221～S223：[0066]在操作S221，将自然基频输入到相位谱预测器的源模块中，输出正弦激励信号。[0067]在操作S222，将正弦激励信号和自然对数幅度谱输入到相位谱预测器的滤波模7CN112634914A说　明　书5/6页块，输出第一样本波形。[0068]在操作S223，以自然波形作参考，根据第一样本波形并通过相位谱预测器损失函数对相位谱预测器进行训练；需要说明的是，相位谱预测器损失函数为幅度谱损失、波形损失和负相关系数损失之和；幅度谱损失为自然波形和样本波形中提取的幅度谱之间的均方误差；波形损失为自然波形和样本波形在其对应的时域的均方误差；负相关系数损失为自然波形和样本波形的负相关系数。[0069]在本实施例中，图3是本发明实施例提供的联合训练幅度谱预测器和相位谱预测器的流程图；如图3所示，通过自然声学特征、自然对数幅度谱、自然基频和自然波形训练连接后的幅度谱预测器和相位谱预测器，包括操作S311～S315。[0070]在操作S311，幅度谱预测器根据输入的自然声学特征输出第二预测对数幅度谱。[0071]在操作S312，相位谱预测器根据输入的第二预测对数幅度谱和自然基频提取预测相位谱。[0072]在操作S313，将第二预测对数幅度谱和预测相位谱组合得到预测短时谱。[0073]在操作S314，通过对预测短时谱计算得到预测短时谱一致性损失函数。[0074]在操作S315，通过联合损失函数对幅度谱预测器和相位谱预测器进行训练；需要说明的是，联合损失函数为预测短时谱一致性损失函数、幅度谱预测器损失函数和相位谱预测器损失函数之和。[0075]在本实施例中，幅度谱预测器根据输入的自然声学特征输出第二预测对数幅度谱包括：[0076][0077]其中：ASP表示幅度谱预测器，表示第n帧的预测对数幅度谱，k表示频率点索引，a表示自然声学特征。[0078]在本实施例中，如图3所示，相位谱预测器根据输入的第二预测对数幅度谱和自然基频提取预测相位谱，包括S321～S323。[0079]在操作S321，将自然基频输入到相位谱预测器的源模块中，输出正弦激励信号。[0080]在操作S322，将正弦激励信号和第二对数幅度谱输入到相位谱预测器的滤波模块，输出第二样本波形。[0081]在操作S323，通过短时傅里叶变换从第二样本波形中提取预测相位谱。[0082]在本发明实施例中，通过短时傅里叶变换从第二样本波形中提取预测相位谱包括：[0083][0084]其中：表示第二预测对数幅度谱，f表示自然基频，PSP表示相位谱预测器，ANG表示从短时谱中取角度的操作。[0085]在本发明实施例中，将第二预测对数幅度谱和预测相位谱组合得到预测短时谱包括：[0086][0087]其中：j为虚数单位。[0088]在本发明实施例中，通过预测短时谱得到预测短时谱一致性损失函数包括：8CN112634914A说　明　书6/6页[0089][0090]根据本发明实施例，首先分别训练幅度谱预测器和相位谱预测器，最后加入短时谱一致性损失函数联合训练幅度谱预测器和相位谱预测器，能够极大地改善预测的幅度谱和相位谱组成的短时谱的不一致问题。[0091]在介绍了基于短时谱一致性的神经网络声码器训练方法之后，下面结合图4对利用基于短时谱一致性的神经网络声码器训练方法得到的神经网络声码器进行语音合成的方法作进一步介绍。[0092]图4是本发明实施例提供的语音合成方法流程图。如图4所示，本发明实施方式提供利用训练方法得到的神经网络声码器进行语音合成的方法，包括操作S401～S404。[0093]在操作S401，将测试的声学特征输入到幅度谱预测器中，输出测试对数幅度谱。[0094]在操作S402，将测试对数幅度谱和测试的基频输入到相位谱预测器中，输出测试相位谱。[0095]在操作S403，将测试对数幅度谱和测试相位谱组合成测试短时谱。[0096]在操作S404，将测试短时谱通过逆短时傅里叶变换得到测试的语音波形。[0097]根据本发明实施例，通过基于短时谱一致性的神经网络声码器训练方法得到的神经网络声码器能够极大地改善预测的幅度谱和相位谱组成的短时谱的不一致问题，进而大幅提高语音的合成质量。[0098]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。9CN112634914A说　明　书　附　图1/3页图1图210CN112634914A说　明　书　附　图2/3页图311CN112634914A说　明　书　附　图3/3页图412