拾音器状态检测方案设计与验证

监控系统中拾音器工作状态检测 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 设计与验证1检测问题与检测构想拾音器与摄像机联合组成的监控系统中，拾音器工作状态是关键因素之一。拾音器工作状态指拾音器是否在正常工作，通常分两种：正常与不正常。正常工作时拾音器产生音频模拟信号，输出到摄像机音频输入口，与视频信号组合，在监控系统内同步传输和使用；不正常工作时拾音器不能产生与视频对应的音频。无论拾音器工作状态正常与否，音频信号的后续过程都是随摄像机视频信号编码传输、解码回放过程，基本角色就是视频伴音，辅助摄像机正常应用。拾音器工作状态检测指通过发现伴音信号异常而得到拾音器工作状态信息。1.1拾音器状态检测必要性目前，在采用模拟拾音器的监控系统中，拾音器工作状态正常与否都是在人查看监控视频时发现的。拾音器工作状态不正常有如下几种典型表现。一是无声音；二是有声音但不是正常音频，而是直流滋滋声；三是有声音但与视频信号不同步，有固定的或者随机的延时。没声音可以肯定拾音器未工作，一般可推断为拾音器整体坏了。有声音但不正常，可以推断为MIC有问题，没采集到声音信号，但是DAC正常输出，拾音器有一部分坏了。不同步的原因有些复杂，如果是相对固定的时间差，可以推断为拾音器内部信号处理引起，易于补偿；如果是随机延时，多半是传输原因，不好查究。拾音器正常工作对监控系统很重要。如果在查看监控视频时听不到声音，会使人有极大的信息不充分的感觉。但是监控系统中动辄有成百个上千个监控点，安装调试过后，再要发现问题，就是在查看监控之时。此时如果发现拾音器问题，虽能纠正，但为时已晚，可能会引发严肃的责任问题。所以，如果拾音器的工作状态能够自动检测，出问题时立刻被发现解决，则监控系统的可靠性无疑会大大提升。1.2状态检测的制约因素与应对考虑在采用模拟传输方式的系统中自动检测拾音器工作状态涉及一个瓶颈问题，这就是音频系统的“寄生性”工作环境问题。在这类系统中，音频信号作为视频信号的补充存在。音频信号自我生成，伴随视频单向传输，在接入到摄像机音频输入口后，后续音频处理均由摄像机固化程序按部就班地自动执行，拾音器自有程序不能介入。由于不同厂家、不同型号摄像机处理信号方式各异，肯定无法协调将拾音器自有程序嵌入进去。这就给检测拾音器工作状态带来了一些必须明确的问题，例如，控制信息怎样传送？由谁按什么 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 处理？虽然可选方案很多，但是基于现状，在监控系统布局不大改动的情况下，如下处理是主要考虑：（1）拾音器通过在音频信号中嵌入状态编码信息自动 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 工作状态，所有关于拾音器工作状态的信息都可以从编码中解读；（2）编码用音频波形表示，嵌入在没有语音信号的时间间隙，不向上或向下扩展音频信号频谱；（3）所生成的含有控制信息的音频流既送给摄像机，也送往监控中心；送给摄像机的信号维持监控系统既有工作方式不变，送给监控中心的信号则作为取代信号，在调试成功后最终取代目前信号作为视频伴音（4）监控中心新建一个音频服务器，由该服务器检测各个拾音器输出的音频信号，从中读取拾音器状态编码，得到工作状态信息，发现问题即刻告警；（5）音频服务器从音频信号中去除状态信息，仅保留正常音频送给摄像机作为伴音。由于把音频服务器定位于监控中心，各路拾音器音频信号均汇集于此，因此还可以给各路信号编码，以便发现问题时能直接定位到具体拾音器。1.3状态检测的基本思路设计拾音器工作状态检测方案的基本思路是：在正常音频流之中，找到一些没有音频信号的时间间隙，在这些时间间隙中插入代表拾音器工作状态的二进制编码信息，用音频波形例如正弦波表示，然后，把这些携带有状态编码信息的音频，像正常音频一样作为拾音器输出信号输出到监控中心。监控中心的音频服务器负责处理音频，对正常音频内容不做处理，送给相应视频做伴音即可；对音频中控制信息，则要提取编码内容，将对应时间间隙清0，以免那些对应状态编码内容的音频波形产生不必要的听觉副作用。这个思路落地需要处理如下几个关键问题。1.3.1语音间隙的发现拾音器内部，MIC不间断工作产生连续的语音记录波形。这个波形经过ADC送给DSP处理器，经过一些必要的信号处理后，再通过DAC成为模拟波形输出。其中的DSP阶段是一切嵌入和处理所能利用的唯一环节。DSP输入是由固定数量的语音样点所组成的语音帧，语音帧所含样点多少，以及DSP处理语音帧的用时，决定了拾音器输出相对于实时视频输出的延时。这个延时不能太长，太长会使视频回放时音像不同步。目前实际延时约为30ms，姑且认为其中的20ms延时源于语音帧的长度为20ms，10ms延时源于DSP处理。发现语音间隙可通过分析语音样点值得到。间隙指语音样点中一段低幅度值区间，不含语音只含背景音。这样的区间可通过比较单位时间内语音幅度的绝对值得到，连续且足够长的低幅度值区间，就可以认定为语音间隙，从而加以利用。低幅度值的阈值可通过监测幅度值自动产生，但是低值区域长度多少合适以及这段长度怎样使用则要考虑多种因素。语音间隙长了不是问题，问题是最短到多少还够用。暂时以一个语音帧为发现目标，认为一帧中信号幅值都在阈值之下则找到了一个可用间隙（20ms，AvailableGap，AG）。连续多个可用间隙AG构成一次嵌入间隙（EmbeddingGap，EG）。怎样嵌入和读出信息由信息编码和解码约定。1.3.2状态编码与嵌入状态信息要综合各方面要求形成，目前暂定为固定长度二进制序列，具体长度与对应的信息内容在具体实施方案时落实。目前暂以6位二进制编码表示要嵌入内容。嵌入模式选FSK调制，即对于二进制编码0，生成一段频率为F0的正弦波，对于二进制编码1，生成一段频率为F1的正弦波。参考电信FSK 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 ，F1=1200Hz，F0=2200Hz。不过这两个频率采样后样点值取值重复的周期太长（16kHz采样率下周期分别为40/160），短时间内无法利用样点值重复特征，所以选F1=1600Hz，F0=2000Hz，在Fs=16kHz时样点值重复的周期分别为10和8。正弦载波的持续时间由预设的码元速率决定，码元速率下限是保证一个码元至少持续一个完整的载波周期，最好多于一个周期。基于20ms帧长考虑，暂定为2ms发送一个码元，这样一帧可以发送10位编码。嵌入过程是：先用16kHz采样率对两种正弦载波各取一个周期的样点存储，然后在嵌入编码信息时，如果是1，则把频率为F1的正弦波的样点写入并重复；如果是0，则把频率为F0的正弦波的样点写入并重复。重复多少样点取决于分配给码元的时间宽度，也就是码元速率。按2ms码元宽度计算，发送1码时，F1正弦波32个样点对应正弦波三个周期多；发送0码时，F0正弦波32个样点对应正弦波恰好四个周期。嵌入之后，嵌入间隙EG所对应的时间段就被正弦波的采样值取代。1.3.3状态信息识别状态编码嵌入后，状态信息就以两种频率正弦波形式出现在正常音频流中。监控中心的解码过程就是发现状态信息存在，找到正确的起始位置，分辨正弦波频率确定状态信息编码，然后将状态信息所对应的时间间隙清0，与其余的正常音频一起送出，供视频回放等使用。如果从状态信息中提取到需要告警之类编码，则触发后续事件，依序处理。解码时，无法预料状态信息什么时候到来，所以实际做法是识别正弦波，一旦遇到正弦波，则按照与发端约定模式，搜索控制信息的起始标志位和有效信息位，把有效信息位读出来得到状态编码，然后将所有正弦波对应的样点值都清0，在约定时间之内（例如10秒或者5秒）不再查找控制信息。识别正弦波可采用不同方法，最好能充分利用正弦波周期特征，形成判别模式。2检测方案主要环节设计检测方案基于如下条件设计：将拾音器视为一个音频编码源，每隔固定间隔送出一个16位编码的语音样点。当前样点前面的样点，以及当前样点后面一帧长度内样点可以利用。检测方案中，发端是在拾音器原来DSP处理基础上新增一些功能，收端是在音频服务器上新建检测功能。发端不能太复杂，以免引入更多延时；收端必须准确，以保证适时读出状态信息。收端最好还能加入延时补偿处理，以补偿发端和收端引入的延时，消除视频回放时可能产生的音像不同步问题。几个主要环节的设计如下2.1状态信息嵌入与识别设计2.1.1拾音器端在拾音器端，一个嵌入间隙EG由两个连续可用间隙AG构成。检测到第一个AG后，将该帧的全部样点值清0，认为下一帧为可用帧。如果下一帧到来后确认为可用间隙AG，则在该帧设置起始标志并嵌入状态信息，例如用0011表示状态编码开始，后跟6位编码表示具体状态信息，这样就用10位编码构成了一个状态编码帧。该帧与其前一帧一起构成了一个嵌入间隙EG，携带了工作状态信息。如果第二帧到来后不能认定为可用间隙AG，则不执行状态信息嵌入，按照正常音频交DSP做其它处理。因此，音频中出现的正弦波有一个特征，其前面一定有一个静音帧，该帧与正弦波组合对应一次状态信息嵌入。2.1.2服务器端服务器端一直监测语音信号的幅度模式。如果发现低幅度帧加正弦波模式，则根据正弦波解码；没有发现该种模式，则语音样点都是正常样点，不做状态识别处理。由于采用模拟传输方式，再采样得到的语音样点，样点值以及组成一帧的样点的序号，与发送时的取值和样点序号基本上是不同的，发端的一帧可能在重采样后变成了前后两帧，对应状态编码的正弦波序列，完全可能从一个完整帧变成了两帧，前面与静音帧一部分组合，后面与正常语音帧一部分组合。所以检测时可能需要考虑两帧合并问题。识别静音+正弦波的语音模式可以用多种方法，关键是及时和准确。不及时，会让正弦波漏检，产生不必要的听觉效应；不准确则可能带来虚警，干扰正常工作。检测之后，所有识别为对应正弦波的样点全部清0，消除发端状态嵌入可能带来的听觉影响。2.2信息编码设计下列参数对检测方案设计有影响，明确如下。2.2.1采样频率，Fs按照拾音器当前工作设置，Fs=16kHz。2.2.2语音样点编码值，Amp按照目前方式,Amp为16位纯整数编码，最大值可达2^15。2.2.3FSK载波频率，F1=1600Hz，F0=2000Hz如果初始相位为0，Fs=16000Hz，F1正弦波对应的10个不同值为：[00.58780.95110.95110.58780-0.5878-0.9511-0.9511-0.5878]F0正弦波对应的8个归一化值为[00.707110.70710-0.7071-1-0.7071]发送1/0码元时就是重复这两组数。例如，一帧内发送10个码元，按帧长20ms计算，每个码元持续时间2ms，每毫秒16样点，共有32个样点，则对于F1，有三个周期多的样点；对于F0，有四个周期的样点。接收时由于相位缘故，采样得到的数未必就是这几个数，但是周期不变。这一特征也可用于简化正弦波频率检测。2.2.4控制信息格式：弱帧+弱帧+状态编码帧状态信息按照如下模式生成，检测到两个弱帧（可用间隙AG）后，在第三帧上嵌入10bit的状态信息编码，该编码前4bit为0011，后6bit对应具体编码信息。2.2.5控制信息间隔时间，10—30秒控制信息嵌入的间隔要适当控制。在正常语音时最好没有嵌入或者少嵌入，减少对正常音频信号的影响；在没有语音时最好周期性嵌入，让服务器确信拾音器工作状态正常。但是在实时工作环境下，除了当前帧可控外，无法从全局角度控制信息嵌入。因此综合这两种需要，规定一个信息嵌入的基本要求：拾音器最短10秒嵌入一次，10秒之内不考虑第二次嵌入，服务器检测到一次状态信息后，10秒之内也不进行第二次检测；最长30秒嵌入一次，发端30秒之内没有检测到嵌入间隙，则强制插入一次控制信息，服务器30秒没有收到控制信息，则认为拾音器故障，启动报警。2.3算法设计拾音器与服务器都处于实时运行环境中，各种处理算法执行时间越短越好。为此对几项运算尽量简化，具体做法包括以下几点。2.3.1间隙发现算法样点绝对值之和作为一帧总能量，与设定的能量阈值比较，判定该帧是否为可用间隙AG。2.3.2正弦波检测算法检测两种正弦波，按照各自周期比较样点绝对值之差。如果是该种正弦波，其值应接近于0；如果不是，则差值较大。2.2.3消除延时影响拾音器的音频通过模拟信道传输到服务器，重新采样得到样点值时，有两个因素必须考虑。一是由于延时，其值一般与发送值不同；二是由于分帧处理，拾音器端同属一帧的样点在服务器端一般不在一帧。但是信号的特征如周期性不变，前后时序不变，因此可以通过设置计数器或者寄存器，处理跨帧信息。3检测方案验证过程3.1验证内容验证检测方案主要证实两点，一是方案可行，二是性能满足要求。性能要求最基本一点是处理时间越短越好，不能影响音像同步。为此将整个验证过程分成拾音器端状态信息嵌入，模拟传输，服务器端状态信息检测等几个环节分别编程，观察处理效果，逐步完善。3.1.1拾音器状态信息嵌入将已有拾音器记录视为MIC数据，依次分为20ms帧，逐帧处理，发现有嵌入间隙EG则将状态信息嵌入，比较嵌入前后波形，修正不合理参数。3.1.2模拟传输给语音信号增加白噪声，然后剪去一段随机长度的语音，改变语音样点起始位置，再用一个截止频率为8kHz的低通滤波器模拟信道传输特性，将语音信号过滤一遍，以此信号模拟到达服务器信号。白噪声幅度按照信噪比设置值调整，改换信噪比值以检测方案抗噪性能。3.1.3状态信息检测检测分两种模式，一种是不进行状态信息检测模式，这是收到了正常状态信息之后的约定不发送时隙（例如10秒）内的服务，只做正常音频处理；另一种是进行状态信息检测模式，这是距上一次收到状态信息超过了约定不发送时隙（10秒）后的服务，正常音频处理与状态信息检测同时进行，如果发现有状态信息所对应的正弦波，不管状态信息内容如何，都将正弦波清0。如果超过最大间隙（30秒）没有收到状态信息，则触发告警。3.2验证过程记录3.2.1状态信息嵌入编程实现两项主要功能：一是发现可用的嵌入间隙，二是将正弦波嵌入。发现可用间隙用时较多。落实初期设想时，发现发一帧全0编码的先导帧，然后再发一帧状态内容帧的设计不合理，因为发了先导帧后，第二帧不一定适合发信息帧（例如幅度不合要求），这导致语音中有很多孤立的引导正弦波，不仅没用，而且使译码逻辑复杂。反复观察比较后方案如下：检测一个可用间隙AG，标记，但是不改变其值，原样送出语音样点值；如果接下来的帧依然是一个可用间隙AG，则认为找到了一个发送间隙EG，把第二帧的内容依旧原样送出；在接下来的第三帧，不管其值如何，都发送状态编码信息；如果第二帧到来后判定为不是可用间隙AG，则清除其前面第一帧标记，重新寻找新的先导弱帧。发送的状态信息集中在一帧。目前用10bit编码表示，其格式为0011XXXXXX，每个bit用一个时常2ms的正弦波表示，0用F0=2400Hz正弦波，1用F1=1600Hz正弦波。10bit编码中，前4位固定为0011，用作编码识别标志；后4位代表编码信息，根据具体内容而定，调试阶段用6位编码000000-111111循环出现，以方便对比编码和译码结果。发送过程如下：把一帧数据（时间长度20ms，共320个样点）用正弦波的采样值替代，每毫秒对应16个样点。发送0时，2毫秒的32个样点对应4个正弦波周期采样值，也就是将一个周期采样值重复4次；发送1时，32个样点对应3个正弦波周期多两个样点的采样值，重复3个周期再加上两个样点。320个样点都用正弦波值替代完成后，用该帧取代原来的帧，送回语音序列。图1是一段120秒的语音样点在状态编码嵌入前后的波形对比图，两次嵌入之间相隔最少5秒。设从上到下依次为（a），（b），（c）。其中（a）是原始语音波形，（b）是嵌入正弦波表示的状态信息后的波形，（c）是所嵌入的正弦波的一个放大后的波形。嵌入位置经过检查都在可用间隙之内，表明搜索可用间隙AG的算法是正确的。原本还要设计超过30秒不能嵌入则强制嵌入信息的方法，结果反复试验发现在正常语音中根本用不到，不超过1秒肯定能找到可用间隙AG。3.2.2状态信息检测状态信息检测分两步进行，第一是发现嵌入位置，第二是读出嵌入信息。准确地发现嵌入位置用了较多时间，一度甚至觉得无计可施。最后两步综合在一起得到解决。发现嵌入位置主要被两个因素所困扰。一是前导弱帧的发现。弱帧很多，但哪一个后面是正弦波则颇费周折，算法设计不好会产生很多虚报。二是不同步。收端的重新采样与发端的采样没有任何同步措施，因此发端原本在一帧中的样点，在收端完全有可能被分成两帧。如果原本在一起的状态编码被拆分在两帧中，分析难度自然加大。试验后采用原则如下一是建立0011先导正弦波的判定模式。该模式是在反复观察分析正弦波样点特征的基础上，基于F0与F1的周期值建立的。经反复测试，效果很好。二是通过弱帧检测发现正弦波可能出现的位置。发端在两个弱帧之后发送状态信息，在收端，状态信息也应该出现在弱帧之后。通过设置绝对阈值和相对阈值，找到符合条件的弱帧，然后检测其后的语音样点，如果是正弦波，则区分F0与F1，译码提取状态信息，并将样点值清0以后送出；如果不是，则将样点原样送出。这里有一个风险，就是语音帧清0。因为正弦波判断需要把当前帧与下一帧合并后一起进行，但是实时处理要求当前帧处理后即送出，不能等到下一帧到来后再送出（否则延时增加一倍）。那么在做出正弦波判断之前送出原值还是清0值合适？分析比较之后采用的原则是：如果当前帧比前一帧幅度增加特别明显（正弦波的样点值比普通语音样点值大），则认为后续是正弦波可能性大，清0后送出；如果不明显，则把原样点值送出。检查之后发现基本没有误判，说明这一原则还是合理的。3.2.3传输过程模拟传输过程考虑了两个信道因素。一是信噪比，二是信道频率响应。信噪比用加入白噪声方式模拟。设定一个信噪比，然后按照信噪比值产生相应白噪声，与状态信息嵌入后的语音信号叠加，这就是混有噪声的传输语音。单独考虑信噪比因素时，用SNR=20dB，15dB，10dB试验，发现20dB完全正常，15dB开始就有错误，部分嵌入信息的位置发现不了。信噪比值越低，错误越多。频率响应用低通滤波器模拟。设计了一个Butterworth低通滤波器，改变滤波器阶数和截至频率观察算法性能，结果发现滤波器阶数影响不大，6阶和10阶没什么区别，但是截至频率影响很大。单独测试滤波器影响时，截至频率设在8kHz，状态检测正常；设在4kHz，大部分位置都检测错误。说明信道响应是个重要影响因素，得结合具体情况仔细应对。图2是分别测试信噪比因素和低通滤波器时出错的情形。设从上到下依次为（a），（b），（c），（d）。其中，（a）是语音中嵌入状态信息后波形图，（b）是正确解码后波形图，(c)是SNR=15dB时出错图，(d)是低通滤波器截至频率为4kHz时出错图。清除了正弦波样点后波形与原始语音波形相同；出错后，没有清除一些正弦波，因此可看到其存在。图1语音信号嵌入正弦波之前和之后的波形比较图4验证结论4.1基本结论通过在语音信号中嵌入正弦波编码的状态信息来检测拾音器工作状态的方案可行。4.2关键问题1，模拟信道的频率响应需要结合实际信道特征进一步充实完善。2，正弦波检测模型需要更多的数据检验。图2状态信息正确提取与没有正确提取对比图