zhuanli/21/202310710781.html by HTTrack Website Copier/3.x [XR&CO'2014], Mon, 24 Jul 2023 09:33:48 GMT --> 一种提高音频信息传输效果方法及系统与流程

一种提高音频信息传输效果方法及系统与流程

文档序号:34866934发布日期:2023-07-23 21:24阅读:9来源:国知局
一种提高音频信息传输效果方法及系统与流程

1.本发明涉及音频处理技术领域,具体涉及一种提高音频信息传输效果方法及系统。


背景技术:

2.目前,在实际工作生活中,语音交流或者通过采用语音设备来进行语音识别采集记录的方式也越来越多;但是由于环境的随机性,设备在采集到目标人声的同时还会采集到环境的各种噪声,而这些噪声会严重影响人们对目标人声的获取,因此需要采用音频降噪对环境的各种噪声进行抑制。但是产生噪声的形式又是很多样的,并没有一种有效的方式能够对环境中所有人的语音均进行有效降噪及传输。因此,设计一种能够提升音频传输效果的方案成为本领域技术人员亟待解决的技术问题。


技术实现要素:

3.针对所述缺陷,本发明公开了一种提高音频信息传输效果方法,其能够有效提升信息传输效率,提高音频传输质量。
4.本发明第一方面公开了一种提高音频信息传输效果方法,包括:通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息,并基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,其中,所述音频方向的数量为多个,且音频方向与噪声模型一一对应;将所述音频方向与相应的待处理音频信息进行信息关联标记;提取所述待处理音频信息中的上升沿和下降沿处信号,根据预设幅度对待处理音频信息中的上升沿和下降沿处信号进行音频幅度提升处理以到待降噪音频信息;或,提取所述待处理音频信息中的非上升沿和非下降沿处信号,根据预设幅度对音频信息中的非上升沿和非下降沿处信号进行音频幅度下降处理以到待降噪音频信息;基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息。
5.作为一种可选的实施方式,在本发明第一方面中,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之前,还包括:通过麦克风阵列采集标定人员在各个方向上的音频标定信息;基于所述麦克风阵列中各个麦克风采集到音频标定信息来确定与相应音频标定信息对应的音频标定方向;通过噪声识别模型对相应音频标定方向上的音频标定信息进行噪声状态识别以确定所述音频标定方向上的音频标定信息所属噪声标定状态,并将所述噪声标定状态与所述音频标定方向进行信息关联。
6.作为一种可选的实施方式,在本发明第一方面中,所述基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,包括:对所述麦克风阵列中各个麦克风采集到待处理音频信息进行频谱转换以得到与所述待处理音频信息关联的音频频谱信号,其中,所述音频频谱信号包括多个频谱点信息;基于所述音频频谱信号上相应的频谱点信息来确定麦克风阵列采集的语音信号在相应频谱点的相位差集合,并根据所述相位差集合来确定待处理音频的音频方向。
7.作为一种可选的实施方式,在本发明第一方面中,在所述根据所述相位差集合来确定待处理音频的音频方向之后,还包括:基于所述音频方向对麦克风阵列中各个麦克风的收音灵敏度按照梯度上升的方式或者多级灵敏匹配的方式进行调整以使得临近发声目标的麦克风的收音灵敏度更高;在所述基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息之后,还包括:将所述降噪音频信息发送至相应的接收端,并且在接收端设置高通滤波器,通过所述高通滤波器来对所述降噪音频信息进行滤波处理,并对经过滤波处理后的降噪音频信息进行语音播放处理。
8.作为一种可选的实施方式,在本发明第一方面中,所述音频降噪模型通过如下步骤构建得到:获取音频样本数据集,所述音频样本数据集包括第一音频样本集和第二音频样本集,并对所述音频样本数据集中的进行特征提取以得到各个音频样本的梅尔频率倒谱系数和/或短时傅里叶特征;通过卷积神经网络来对所述第一音频样本集的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第一音频特征向量;以及通过循环神经网络对所述第二音频样本集中的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第二音频特征向量;将得到的第一音频特征向量和第二音频特征向量输入至多个浅层自编码器级联得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式进行模型训练;并采用变分自编码器对模型的隐藏层做参数化处理;将处理后的特征向量输入至预先构建完成的音频降噪模型来进行训练,直至完成训练任务。
9.作为一种可选的实施方式,在本发明第一方面中,所述音频方向包括第一音频方向、第二音频方向和第三音频方向;所述基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息,包括:当所述音频方向为第一音频方向时,根据所述第一音频方向确定接收到的待降噪音频信息的为第一降噪状态;根据所述第一降噪状态来匹配相应的第一降噪模型来对所述待降噪音频信息进行降噪处理以得到进行临街消噪后的降噪音频信息;当所述音频方向为第二音频方向时,根据所述第二音频方向确定接收到的待降噪音频信息的为第二降噪状态;根据所述第二降噪状态来匹配相应的第二降噪模型来对所述
待降噪音频信息进行降噪处理以得到进行过道消噪后的降噪音频信息;当所述音频方向为第三音频方向时,根据所述第三音频方向确定接收到的待降噪音频信息的为第三降噪状态;根据所述第三降噪状态来匹配相应的第三降噪模型来对所述待降噪音频信息进行降噪处理以得到进行室内消噪后的降噪音频信息。
10.作为一种可选的实施方式,在本发明第一方面中,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之后,还包括:对采集到的待处理音频信息按照预设的序列拆分逻辑来对所述待处理音频信息进行序列拆分处理以得到音频序列集;其中,所述音频序列集包括语音序列集和噪声序列集;对所述噪声序列集进行噪声抽取,并基于所述噪声抽取结果来对语音序列集中数据进行降噪处理以得到噪声抽取结果,对所述噪声抽取结果来进行信息标记;基于所述噪声抽取结果来对语音序列集来进行音频优化;所述传输效果方法,还包括:对当前网络带宽进行实时检测,基于带宽检测结果来对音频采样率来进行调整以提高信息传输效率。
11.本发明第二方面公开一种提高音频信息传输效果系统,包括:音频采集模块:用于通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息,并基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,其中,所述音频方向的数量为多个,且音频方向与噪声模型一一对应;关联标记模块:用于将所述音频方向与相应的待处理音频信息进行信息关联标记;提取处理模块:用于提取所述待处理音频信息中的上升沿和下降沿处信号,根据预设幅度对待处理音频信息中的上升沿和下降沿处信号进行音频幅度提升处理以到待降噪音频信息;或,提取所述待处理音频信息中的非上升沿和非下降沿处信号,根据预设幅度对音频信息中的非上升沿和非下降沿处信号进行音频幅度下降处理以到待降噪音频信息;降噪模块:用于基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息。
12.本发明第三方面公开一种电子设备,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行本发明第一方面公开的提高音频信息传输效果方法。
13.本发明第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明第一方面公开的提高音频信息传输效果方法。
14.与现有技术相比,本发明具有以下有益效果:本发明中提高音频信息传输效果方法通过对环境中多种不同位置进行噪声状态检测以确定对应目标音源所处具体噪声环境,进而基于特定的降噪模型来对语音信号中的噪声数据进行识别降噪处理以得到更加清晰的语音信息来进行传输,提高音频传输效果。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
16.图1是本发明实施例公开的提高音频信息传输效果方法的流程示意图;图2是本发明实施例公开的噪声与方向标定流程示意图;图3是本发明实施例公开的频谱转换的流程示意图;图4是本发明实施例公开的音频降噪模型构建的流程示意图;图5是本发明实施例公开的音频降噪匹配的流程示意图;图6是本发明实施例公开的音频优化的流程示意图;图7是本发明实施例提供的一种提高音频信息传输效果装置的结构示意图;图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
18.需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,示例性地,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
19.在实际工作生活中,语音交流或者通过采用语音设备来进行语音识别采集记录的方式也越来越多;但是由于环境的随机性,设备在采集到目标人声的同时还会采集到环境的各种噪声,而这些噪声会严重影响人们对目标人声的获取,因此需要采用音频降噪对环境的各种噪声进行抑制。但是产生噪声的形式又是很多样的,并没有一种有效的方式能够对环境中所有人的语音均进行有效降噪及传输。基于此,本发明实施例公开了提高音频信息传输效果方法、装置、电子设备及存储介质,其通过对环境中多种不同位置进行噪声状态检测以确定对应目标音源所处具体噪声环境,进而基于特定的降噪模型来对语音信号中的噪声数据进行识别降噪处理以得到更加清晰的语音信息来进行传输,提高音频传输效果。
20.实施例一请参阅图1,图1是本发明实施例公开的提高音频信息传输效果方法的流程示意图。其中,本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体,该执行主体可以通过有线或/和无线方式接收相关信息,并可以发送一定的指令。当然,其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备,例如远程的物理服务器或云服务器以及相关软件,也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中,还可以控制多个存储设备,存储设备可以与设备放置
于同一地方或不同地方。如图1所示,该基于提高音频信息传输效果方法包括以下步骤:s101:通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息,并基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,其中,所述音频方向的数量为多个,且音频方向与噪声模型一一对应;比如在进行双方进行线上会议的时候,双方都在各自公司的会议室中,由于会议室并非是隔音的,并且会议室不同的位置其噪声也会存在差异。比如靠近窗边的位置的噪声状态与靠近过道的噪声状态并不一样,因为靠近窗户边的临街位置其外部噪声一般都是车辆、风声以及外部商场开业的声音等等;而室内的靠近过道的其一般都是人来人往的走步声音以及公司内员工的声音信息等,还有就是在会议室靠近中间的位置,这些位置所处的噪声环境基本都是以室内的噪声位置,比如写字的声音或者电脑主机等运行的声音以及凳子移动的噪声等;由于这些噪声状态具有一定的位置关系,所以在进行具体实施的时候可以结合位置来与特定的噪声模型进行匹配来得到精准降噪的目的,这几种噪声状态的具体表现也并不相同。在进行方向匹配之后,即使相应的人更换了位置也并不会影响降噪效果;因为在进行具体实施的时候是采用方向与模型噪声进行关联的管理方式。
21.更为优选的,图2是本发明实施例公开的噪声与方向标定流程示意图;如图2所示,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之前,还包括:s100a:通过麦克风阵列采集标定人员在各个方向上的音频标定信息;s100b:基于所述麦克风阵列中各个麦克风采集到音频标定信息来确定与相应音频标定信息对应的音频标定方向;s100c:通过噪声识别模型对相应音频标定方向上的音频标定信息进行噪声状态识别以确定所述音频标定方向上的音频标定信息所属噪声标定状态,并将所述噪声标定状态与所述音频标定方向进行信息关联。
22.在进行降噪开始前,可以进行音频标定,通过上述方向标定能够更加准确的标定出各个方向的具体状态,这里的标定是需要用户在开始之前通过人主动的去进行标定的方式,并且通过上述标定不单单能够识别出来人声的方向信息,还能够识别出来具体的噪声状态,从一定程度上能够辅助提升噪声识别的精准度。进行标定完成之后,则可以将噪声状态与音频方向来进行关联,这样能够更加方便进行音频处理。
23.更为优选的,图3是本发明实施例公开的频谱转换的流程示意图;如图3所示,所述基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,包括:s1011:对所述麦克风阵列中各个麦克风采集到待处理音频信息进行频谱转换以得到与所述待处理音频信息关联的音频频谱信号,其中,所述音频频谱信号包括多个频谱点信息;s1012:基于所述音频频谱信号上相应的频谱点信息来确定麦克风阵列采集的语音信号在相应频谱点的相位差集合,并根据所述相位差集合来确定待处理音频的音频方向。
24.在进行具体的音频方向采集的时候,主要是通过识别相位差来进行确定。
25.s102:将所述音频方向与相应的待处理音频信息进行信息关联标记;将相应的声音信息与方向进行关联之后,可以基于方向信息来进行后续的降噪模型的调用。
26.s103:提取所述待处理音频信息中的上升沿和下降沿处信号,根据预设幅度对待处理音频信息中的上升沿和下降沿处信号进行音频幅度提升处理以到待降噪音频信息;或,提取所述待处理音频信息中的非上升沿和非下降沿处信号,根据预设幅度对音频信息中的非上升沿和非下降沿处信号进行音频幅度下降处理以到待降噪音频信息;本步骤主要是对音频信号进行处理,由于在信号传输线表现出来的是低通滤波特性,传输过程中信号的高频成分衰减大,低频成分衰减少。通过在传输线的始端增强信号的高频成分,以补偿高频分量在传输过程中的过大衰减。且知晓信号频率的高低主要是由信号电平变化的速度决定的,所以信号的高频分量主要出现在信号的上升沿和下降沿处,本发明实施例的方式就是增强信号上升沿和下降沿处的幅度来达到一定的降噪目的。同样的,进行非上升沿和非下降沿处信号进行音频幅度下降也具有同样的效果。
27.s104:基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息。
28.本发明实施例依据具体的噪声模型来进行匹配降噪。比如当检测到其靠近街道,则启动街道降噪模型;若是在室内中间位置,则启动室内降噪模型;若是靠近办公室过道,则启动过道降噪模型;根据不同的降噪模型来实现精准降噪。环境噪声的方向,当会议室内人较多的时候,不同方向人如果采用同一个降噪模型的话,则不够精准,所以需要针对不同的方向来设置不同的降噪模型,且这个降噪模型是在动态变化的。针对不同的噪声状态可以采用不同的降噪模型,比如室内噪声具有一定的周期性与时序性,所以在进行降噪模型构建的时候可以采用lstm模型来进行相应模型构建来完成最终室内噪声的精准识别。
29.更为优选的,图4是本发明实施例公开的音频降噪模型构建的流程示意图;如图4所示,所述音频降噪模型通过如下步骤构建得到:s104a:获取音频样本数据集,所述音频样本数据集包括第一音频样本集和第二音频样本集,并对所述音频样本数据集中的进行特征提取以得到各个音频样本的梅尔频率倒谱系数和/或短时傅里叶特征;s104b:通过卷积神经网络来对所述第一音频样本集的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第一音频特征向量;以及通过循环神经网络对所述第二音频样本集中的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第二音频特征向量;s104c:将得到的第一音频特征向量和第二音频特征向量输入至多个浅层自编码器级联得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式进行模型训练;并采用变分自编码器对模型的隐藏层做参数化处理;s104d:将处理后的特征向量输入至预先构建完成的音频降噪模型来进行训练,直至完成训练任务。
30.上述为具体的训练过程,通过该自编码器来对特征进行不断学习来使得最终训练得到的音频降噪模型更加的精准。
31.更为优选的,在所述根据所述相位差集合来确定待处理音频的音频方向之后,还包括:基于所述音频方向对麦克风阵列中各个麦克风的收音灵敏度按照梯度上升的方式或者多级灵敏匹配的方式进行调整以使得临近发声目标的麦克风的收音灵敏度更高;由于采用的是麦克风阵列,所以在进行收音的时候,麦克风阵列中的所有麦克风均能够收到相应的声音信号;但是由于本发明中设置了方向降噪的方式,所以需要更加精准的声音采集。比如当临窗的与会人员发声的时候,通过对麦克风阵列启动不同的灵敏度配置来进行声音采集,越靠近发声人员的麦克风灵敏度越高采集到的声音更加的准确,而相对远离的则降低其灵敏度来进行特征匹配最终实现声音采集,并且在进行具体实施的时候可以采用权重配置的方式来融合多种模型来对该音频进行降噪。这里的麦克风阵列可以采用菱形阵列的设置方式,使得其整体能够进行更有效的收音以及灵敏度调整设置。
32.在所述基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息之后,还包括:将所述降噪音频信息发送至相应的接收端,并且在接收端设置高通滤波器,通过所述高通滤波器来对所述降噪音频信息进行滤波处理,并对经过滤波处理后的降噪音频信息进行语音播放处理。
33.更为优选的,所述音频方向包括第一音频方向、第二音频方向和第三音频方向;图5是本发明实施例公开的音频降噪匹配的流程示意图,如图5所示,所述基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息,包括:s1041:当所述音频方向为第一音频方向时,根据所述第一音频方向确定接收到的待降噪音频信息的为第一降噪状态;根据所述第一降噪状态来匹配相应的第一降噪模型来对所述待降噪音频信息进行降噪处理以得到进行临街消噪后的降噪音频信息;s1042:当所述音频方向为第二音频方向时,根据所述第二音频方向确定接收到的待降噪音频信息的为第二降噪状态;根据所述第二降噪状态来匹配相应的第二降噪模型来对所述待降噪音频信息进行降噪处理以得到进行过道消噪后的降噪音频信息;s1043:当所述音频方向为第三音频方向时,根据所述第三音频方向确定接收到的待降噪音频信息的为第三降噪状态;根据所述第三降噪状态来匹配相应的第三降噪模型来对所述待降噪音频信息进行降噪处理以得到进行室内消噪后的降噪音频信息。
34.上述为具体的声音降噪,除了上述三个方向的降噪之后,甚至可以采用更多方向的降噪,来实现更加精准的降噪的目的。但是由于在实施过程中,不同的更为优选的,图6是本发明实施例公开的音频优化的流程示意图,如图6所示,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之后,还包括:s1021:对采集到的待处理音频信息按照预设的序列拆分逻辑来对所述待处理音频信息进行序列拆分处理以得到音频序列集;其中,所述音频序列集包括语音序列集和噪声序列集;s1022:对所述噪声序列集进行噪声抽取,并基于所述噪声抽取结果来对语音序列
集中数据进行降噪处理以得到噪声抽取结果,对所述噪声抽取结果来进行信息标记;s1023:基于所述噪声抽取结果来对语音序列集来进行音频优化;在本发明实施例中可以对语音序列做标记,也可以识别出在没有人发声的时候的背景音状态,这样可以通过对背景音的采集来辅助完成对特定音频的识别,并且由于背景音是变化的,所以在进行具体实施的时候,可以每隔一段时间来进行一次背景音的提取与优化,能够达到更好的音频传输效果。
35.所述传输效果方法,还包括:对当前网络带宽进行实时检测,基于带宽检测结果来对音频采样率来进行调整以提高信息传输效率。
36.本发明实施例的方案可以实现对于外部环境的噪声比如周围商场开业、会议喇叭播放音乐、声音信息等来进行综合的降噪处理本发明实施例中提高音频信息传输效果方法通过对环境中多种不同位置进行噪声状态检测以确定对应目标音源所处具体噪声环境,进而基于特定的降噪模型来对语音信号中的噪声数据进行识别降噪处理以得到更加清晰的语音信息来进行传输,提高音频传输效果。
37.实施例二请参阅图7,图7是本发明实施例公开的提高音频信息传输效果装置的结构示意图。如图7所示,该提高音频信息传输效果装置可以包括:音频采集模块:用于通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息,并基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,其中,所述音频方向的数量为多个,且音频方向与噪声模型一一对应;关联标记模块:用于将所述音频方向与相应的待处理音频信息进行信息关联标记;提取处理模块:用于提取所述待处理音频信息中的上升沿和下降沿处信号,根据预设幅度对待处理音频信息中的上升沿和下降沿处信号进行音频幅度提升处理以到待降噪音频信息;或,提取所述待处理音频信息中的非上升沿和非下降沿处信号,根据预设幅度对音频信息中的非上升沿和非下降沿处信号进行音频幅度下降处理以到待降噪音频信息;降噪模块:用于基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息。
38.更为优选的,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之前,还包括:标定采集模块:用于通过麦克风阵列采集标定人员在各个方向上的音频标定信息;标定方向确定模块:用于基于所述麦克风阵列中各个麦克风采集到音频标定信息来确定与相应音频标定信息对应的音频标定方向;信息关联模块:用于通过噪声识别模型对相应音频标定方向上的音频标定信息进行噪声状态识别以确定所述音频标定方向上的音频标定信息所属噪声标定状态,并将所述
噪声标定状态与所述音频标定方向进行信息关联。
39.更为优选的,所述基于所述麦克风阵列中各个麦克风采集到待处理音频信息来确定与相应待处理音频信息对应的音频方向,包括:频谱转换模块:用于对所述麦克风阵列中各个麦克风采集到待处理音频信息进行频谱转换以得到与所述待处理音频信息关联的音频频谱信号,其中,所述音频频谱信号包括多个频谱点信息;相位差计算模块:用于基于所述音频频谱信号上相应的频谱点信息来确定麦克风阵列采集的语音信号在相应频谱点的相位差集合,并根据所述相位差集合来确定待处理音频的音频方向。
40.更为优选的,在所述根据所述相位差集合来确定待处理音频的音频方向之后,还包括:灵敏度检测模块:用于基于所述音频方向对麦克风阵列中各个麦克风的收音灵敏度按照梯度上升的方式或者多级灵敏匹配的方式进行调整以使得临近发声目标的麦克风的收音灵敏度更高;在所述基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息之后,还包括:滤波模块:用于将所述降噪音频信息发送至相应的接收端,并且在接收端设置高通滤波器,通过所述高通滤波器来对所述降噪音频信息进行滤波处理,并对经过滤波处理后的降噪音频信息进行语音播放处理。
41.更为优选的,所述音频降噪模型通过如下步骤构建得到:样本获取模块:用于获取音频样本数据集,所述音频样本数据集包括第一音频样本集和第二音频样本集,并对所述音频样本数据集中的进行特征提取以得到各个音频样本的梅尔频率倒谱系数和/或短时傅里叶特征;特征处理模块:用于通过卷积神经网络来对所述第一音频样本集的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第一音频特征向量;以及通过循环神经网络对所述第二音频样本集中的梅尔频率倒谱系数和/或短时傅里叶特征进行特征提取以得到相应的第二音频特征向量;自编码模块:用于将得到的第一音频特征向量和第二音频特征向量输入至多个浅层自编码器级联得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式进行模型训练;并采用变分自编码器对模型的隐藏层做参数化处理;训练模块:用于将处理后的特征向量输入至预先构建完成的音频降噪模型来进行训练,直至完成训练任务。
42.更为优选的,所述音频方向包括第一音频方向、第二音频方向和第三音频方向;所述基于所述音频方向来确定接收到的待降噪音频信息的噪声状态,根据所述待降噪音频信息的噪声状态来匹配相应的音频降噪模型,并基于所述音频降噪模型对相应的待降噪音频信息进行降噪处理以得到相应的降噪音频信息,包括:第一降噪模块:用于当所述音频方向为第一音频方向时,根据所述第一音频方向确定接收到的待降噪音频信息的为第一降噪状态;根据所述第一降噪状态来匹配相应的第一降噪模型来对所述待降噪音频信息进行降噪处理以得到进行临街消噪后的降噪音频信
息;第二降噪模型:用于当所述音频方向为第二音频方向时,根据所述第二音频方向确定接收到的待降噪音频信息的为第二降噪状态;根据所述第二降噪状态来匹配相应的第二降噪模型来对所述待降噪音频信息进行降噪处理以得到进行过道消噪后的降噪音频信息;第三降噪模型:用于当所述音频方向为第三音频方向时,根据所述第三音频方向确定接收到的待降噪音频信息的为第三降噪状态;根据所述第三降噪状态来匹配相应的第三降噪模型来对所述待降噪音频信息进行降噪处理以得到进行室内消噪后的降噪音频信息。
43.更为优选的,在所述通过麦克风阵列来对当前环境中各个方向的音频信息进行音频采集以得到待处理音频信息之后,还包括:拆分处理模块:用于对采集到的待处理音频信息按照预设的序列拆分逻辑来对所述待处理音频信息进行序列拆分处理以得到音频序列集;其中,所述音频序列集包括语音序列集和噪声序列集;抽取模块:用于对所述噪声序列集进行噪声抽取,并基于所述噪声抽取结果来对语音序列集中数据进行降噪处理以得到噪声抽取结果,对所述噪声抽取结果来进行信息标记;优化模块:用于基于所述噪声抽取结果来对语音序列集来进行音频优化;所述传输效果方法,还包括:带宽检测模块:用于对当前网络带宽进行实时检测,基于带宽检测结果来对音频采样率来进行调整以提高信息传输效率。
44.本发明实施例中提高音频信息传输效果方法通过对环境中多种不同位置进行噪声状态检测以确定对应目标音源所处具体噪声环境,进而基于特定的降噪模型来对语音信号中的噪声数据进行识别降噪处理以得到更加清晰的语音信息来进行传输,提高音频传输效果。
45.实施例三请参阅图8,图8是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等,当然,在一定情况下,还可以是手机、平板电脑以及监控终端等智能设备,以及具有处理功能的图像采集装置。如图8所示,该电子设备可以包括:存储有可执行程序代码的存储器510;与存储器510耦合的处理器520;其中,处理器520调用存储器510中存储的可执行程序代码,执行实施例一中的提高音频信息传输效果方法中的部分或全部步骤。
46.本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行实施例一中的提高音频信息传输效果方法中的部分或全部步骤。
47.本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一中的提高音频信息传输效果方法中的部分或全部步骤。
48.本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一中的提高音
频信息传输效果方法中的部分或全部步骤。
49.在本发明的各种实施例中,应理解,所述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
50.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
51.另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
52.所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
53.在本发明所提供的实施例中,应理解,“与a对应的b”表示b与a相关联,根据a可以确定b。但还应理解,根据a确定b并不意味着仅仅根据a确定b,还可以根据a和/或其他信息确定b。
54.本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(read-only memory,rom)、随机存储器(random access memory,ram)、可编程只读存储器(programmable read-only memory,prom)、可擦除可编程只读存储器(erasable programmable read-only memory,eprom)、一次可编程只读存储器(one-time programmable read-only memory,otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory,eeprom)、只读光盘(compact disc read-only memory,cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
55.以上对本发明实施例公开的提高音频信息传输效果方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1
zhuanli/21/202310710781.html by HTTrack Website Copier/3.x [XR&CO'2014], Mon, 24 Jul 2023 09:33:55 GMT -->