音频处理技术

null第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用nullnull4.1.1 声音处理技术历史回顾 记录：19世纪，爱迪生，留声机。 电声技术：研究可听声频率范围内声音的产生、传播、存储、重放和接收的技术。依靠电来记录并播放声音，通过电压产生模拟声波变化的电流信号是模拟信号。 随着计算机技术和存储设备的发展，数字化音频处理技术也得到了发展。null图4-2用磁带记录声音的录音机 null4.1.2 声音信号的形式 任何声音都是物体振动产生的现象，其在介质中的传播称为声波。声源所引起的空气压力变化，被耳朵的耳膜所检测，然后产生电信号刺激大脑的听觉神经，从而使人们能感觉到声音的存在。 null4.1.2 声音信号的形式 语音信号:语言的物质载体，具有复杂的语法和语义，难于识别。 非语音信号：音乐，自然界的声音，信息量低，识别简单。null图4-4 在自然界，声波与水波一样都是一种振动波null 图4-5 用声音录制软件记录的英文单词”Hello”语音的实际波形null4.1.3 模拟音频信号的物理特征 频率：体现音调的高低，单位Hz 幅度：体现声音的强弱，单位dB 语音信号频率范围：300Hz~3000Hz 可听频率带宽（音频）： 20Hz~20kHznullnull图4-6 声波的频率、周期与振幅null教学进程null声音质量分级与带宽图4-8 四级声音质量的频率范围 null声音的质量与声音的频率范围有关。 一般说来，频率范围越宽声音的质量就越高。 对语音而言，常用可懂度、清晰度、自然度来衡量；而对音乐来说，保真度、空间感、音响效果都是重要的指标第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用nullnull借助于A/D或D/A转换器，模拟信号和数字信号可以互相转换nullnull4.2.1采样 为实现A/D转换，需要把模拟音频信号波形进行分 割（每隔一定的时间间隔测一次模拟音频的值(如电压) ），以转变成数字信号，这种方法称为采样(Sampling)。每秒钟采样的次数称为采样率。 数字音频是离散的，而模拟音频是连续的，数字音频 质量的好坏与采样率密切相关。数字音频信息可以被计算 机存储、处理和播放。 Nyquist采样定理：只有采样频率高于声音信号最高 频率的两倍时，才能把数字信号表示的声音还原为原来的 声音。 null图4-9 声音的采样和量化示意图null4.2.2 量化 　　用某种数字化的方法来反映某一瞬间声波幅度的电 压值的大小称为量化。 采样后的信号按照整个声波的幅度（幅度轴 ）划分称有限个区段的集合，把落入某个区段内的样值归为一类，并赋予形同的量化值。采用二进制，以16位或256位等的方式来进行。null均匀量化非均匀量化数字音频等级数字音频等级nullnull教学进程数据量=采样频率×（量化位数/8）×声道数×声音持续时间例 1 对于调频广播级立体声，采样频率为44.1kHz，量化等级为16位（即2字节）声道形式为双声道，则转换后每秒以千字节为单位的数据量为： 44 100（Hz）×（16/8）（B）×2=176 400B/s≈172kB/s 例 2 用44.1kHz的采样频率对声波进行采样，每个采样点的量化位数选用16位，则录制3分钟的立体声节目，其波形文件所需的存储容量为： 44 100（Hz）×（16/8）（B）×2×3×60=31 752 000B/s ≈31 007.8kB/s ≈30.28MB/snull 例3 一般播音员的播音频率是４kHz，采用8bit的采用精度进行采样的时候，计算该播音员播音１０分钟的数据量为： ８kHz＊８bit＊１０＊６０＝ 例4 以cd激光盘音质（44.1kHz的采样频率，16位立体声形式）记录一首５分钟的乐曲所需的存储容量为： 44 100（Hz）×（16/8）（B）×2×５×60=51600kbnull4.2.3 声音采样与量化过程示例null图4-10 采样频率为1000Hz，10个量化等级的波形null图4-11 经过D/A转换器得到的信号波形(直线段的波形)有较大的失真null图4-12 采样率为2000Hz，量化等级为20的采样量化过程null图4-13 采样率为4000Hz，量化等级为40的采样量化过程null4.2.4 压缩编码 依据：声音信息中存在着多种冗余 听觉器官的不敏感性 采样的标本中存在着相关性 压缩算法通常应能满足下列需求： 压缩倍数高，压缩后的数据率低； 解码后的信号失真小，质量高； 算法简单，执行速度快，延迟时间短； 编码器、解码器的成本低。null压缩方法（compression method） 有损压缩 无损压缩 编码选择（ code selection ） ＰＣ机常用的声卡上有自适应差分脉冲码调制方案,μ律／a 律等， format (structure)音频信息的压缩技术 音频信息的压缩技术 有 损 压 缩混合编码 码本激励线性预测 CELPnull图4-14 音频信号处理过程第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用null4.3.1 声卡的工作原理图4-16 声卡工作原理框图采用大规模集成 电路 模拟电路李宁答案12数字电路仿真实验电路与电子学第1章单片机复位电路图组合逻辑电路课后答案 设计，将音频技术范围的各类电路以专用芯片的形式集成在声卡上，并可直接插入计算机的扩展槽中使用。null1．主芯片-数字信号处理器 声音信息处理、特殊音效过滤与处理、语音识别、实施压缩等等任务。 2．混音芯片-CODEC 负责调节各声音来源的音量、混音与调整录放音的音量大小 图4-18 Sound Blaster PCI64声卡的混音器设置界面null3.合成器 负责 MIDI乐曲的合成可以及时创造各种音乐 MIDI合成器有两种：频率调制合成器(FM合成器)、波形表(Wave table合成器)。 4.总线接口和控制器 总线接口和控制器由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑和DMA控制逻辑组成。 5.外部输入输出口 声卡外部输入输出口均为3.5mm规格插口（MIDI/Joystick除外） nullnull4.3.2 声卡的性能指标 1．音频技术指标 2．MIDI音频 3．声道数（Dolby AC-3等） 图4-19 5.1声道系统的布局图null 4.多音频流输出 5.I/O设备接口 6.声卡软件 7.总线结构图4-20 支持5.1声道系统的声卡接口nullnullnull杜比与DTS杜比与DTS 1. Dolby Digital Mono: 杜比数字单声道音效 只有单声道的效果, 并不足以构成立体声, 2. Dolby Digital Stereo: 杜比数字双声道音效 将双声道的立体讯号储存为AC-3格式, 3. Dobly Digital Surround: 杜比数字环绕音效 4. Dolby Digital 4.0: 杜比数字环绕音效4.0 5. Dolby Digital 5.0: 杜比数字环绕音效5.0 6. Dolby Digital 5.1: 杜比数字环绕音效5.1 以Dolby Digital来表示Dolby Digital 5.1, 也就是5.1声道的  Dolby Digital或AC-3. 7.Dolby digital 7.1~11.1等等杜比与DTS杜比与DTSPCM 高音质数字音效: DVD利用PCM格式储存未经压缩的双声道讯号，由于DVD具有庞大的 空间与速度优势, 可以大胆使用更高的取样率与解析度, 因此可以提供远高于传统CD的表现 DTS 数字环绕音效: 属于5.1声道的环绕效果, DTS采用与AC-3不同的压缩技术将环绕音效储存至DVD. 播放时必须采用具有dts译码能力的系统. DTS跟Dolby Digital 5.1最大的差别在于两者使用不同的”算法”null 4.3.3 声卡的主要功能 录制与播放声音 通过接在声卡上的话筒录制声音，并以文件形式保存在计算机中，随时可打开声音文件进行播放。声音文件的格式可因使用不同的软件而不同。 音乐合成 利用声卡上的合成器将存储在计算机内存中的MIDI文件合成为音乐乐曲。通过混合器混合和处理多个不同音频源的声音，控制和调节音量大小，最后送至音箱或耳机播放。 null压缩和解压缩音频文件 目前，大多数声卡上都固化了不同 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的音频压缩和解压缩软件，常用的压缩编码方法有ADPCM(自适应差分脉冲编码调制)和ACM(微软音频压缩管理器)等，压缩比大约为2:1~5:l。 与MIDI设备和CD驱动器的连接 通过声卡上的MIDI接口，计算机可以同外界的MIDI设备相连接，如连接电子琴、电吉他等，使MPC具有创作电脑乐曲和播放MIDI文件的功能。游戏杆也可通过MIDI接口与计算机相连接，使游戏玩起来得心应手。 第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用null 4.4.1 数字音频的文件格式图4-21 常用音频格式null1.WAV文件——.wav 2. MP3——.mp3 3.MP4——.mp4 4.RealAudio文件—.ra/.rm/.ram 5.APE文件——.ape 图4-22 MP3是Internet上流行的音乐格式null6. MIDI文件——.midi 7. CD文件——.cda 8.AAC文件——.m4a .mp4等 9. PCM文件——.pcm 10.WMA文件——.wma 11. VOC文件——.voc 12.AIFF文件——.aif/.aiff 13.HDTA文件——.hdtaHDTAHDTA可变结构高解析度音频（Hi-Definition Transformable Audio）是一种结合了互动性和高解析度音频的新一代音频格式。     HDTA按照不同的标准，主要分为以下几种：     TA（只支持16Bit/44.1KHz传统音频）     HDTA立体声（只支持高解析度的双声道）     HDTA环绕声（支持6，8，16个声道的环绕声） 新一代的HDTA格式音乐，是彻头彻尾的数字格式。它不以任何光盘为载体，而是作为一种计算机数据格式存在 null4.4.2 音频制作与处理软件 1．CoolEdit 图4-25 CoolEditPro 的界面null2．Sound Forge图4-26 Sound Forge音频处理软件 第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用4.5 乐器数字接口-MIDI4.5 乐器数字接口-MIDI4.5.1 什么是MIDI MIDI 是数字音乐接口（Musical Instrument Digital Interface)的缩写。或者说，MIDI是用来將电子乐器相互连接，或将MIDI设备与电脑连接成系统的一种通讯 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 。 通过它，各种MIDI设备都可以准确传送MIDI信息。 不属于数字音响技术的范畴 Midi数据不是数字的音频波形，而是音乐代码或电子乐谱 null4.5.2 MIDI系统的组成null1.合成器图4-28 具有USB接口的MIDI键盘使用振荡器来产生声乐的一种电子乐器，通过振荡器的电流震荡产生各种波形并进行处理，合成出新的音乐。 合成器中的音序器和音色分别由软件和独立音源来代替，因此产生控制键盘。null2．音源图4-29 硬件音源产品（Roland JV1080）音源音色的数量、品种和质量都将对最终音乐作品的效果产生重要的影响。音源内部是不同音色的样本波形，由音序器来决定何时调用。分为软硬件两种，专业硬件音源、多媒体声卡上包含GM音色库、以插件形式的软音源。null3．音序器(Sequencer) 记录、编辑和播放midi文件的设备， 硬件音序器又称为编曲机，软件音序器 是音乐创作、编辑软件，比如Cakewalk 等。 4．采样器 对声音进行采样、然后编辑成多种 的音色。 5．其它设备 如录音设备、监听设备、音箱功放等 Yamaha QY100音序器null4.5.3 MIDI的工作过程 midi消息实际上是对一段音乐的描述，或理解为对乐谱的数字描述，包括音符、节拍、乐器种类等信息。消息分为状态信息和数据信息。 状态信息描述音符被演奏或是声音被加强等 数据信息描述那个音符被演奏了，或被加强的声音的强度如何这类可以用量来表示的信息。null图4-31 MIDI的工作过程nullnull4.5.4 FM与波表合成方式 1.FM合成法 FM称为“数字式频率调制合成法”，简称FM合成法。FM合成法生成音乐的基本原理是，用数字信号来表示不同音乐的波形，然后把它们组合起来，再通过数模转换器（ＤＡＣ）生成音乐播放。 2.波表合成法 为了能真实地再现音乐，目前的声卡一般采用音乐样本合成法，即波表合成法。 把真实乐器发出的声音以数字的形式记录下来，存放在“波表文件”中，播放时根据命令生成各种音阶的音符，产生的声音质量比较高。nullFM合成法： 比如MIDI音乐（用符号描述的乐器演奏的音乐声音）、合成语音（用声母、韵母或清音、基音频率等参数描述的语音）等 。符号化的声音表示方法所产生的声音虽然没有自然声那么真实、逼真，但数据量要比波形声音小得多（2～3个数量级），而且能产生自然界中不存在的声音，其编辑处理也比波形声音更加方便一些。 null4.5.5 GM-标准MIDI乐器排序表 4.5.6 MIDI音乐创作软件与音序软件图4-33 CakeWalk Pro Audio音序软件主界面null 图4-34 在Cakewalk Pro Audio能容易地对MID乐谱进行编辑和创作第4章 多媒体音频处理技术第4章 多媒体音频处理技术4.1 音频信号及其概念 4.2 模拟音频的数字化过程 4.3 声卡的组成和功能 4.4 音频文件的格式与处理软件 4.5 乐器数字接口-MIDI 4.6 数字音频的应用null语音识别 语音合成null 语音识别：指机器收到语音信号后，如何模仿人的听觉器官辨别所听到的语音 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 或讲话人的特征，进而模仿人脑理解出该语音的含义或判别出讲话人的过程。 分类： 按讲话者分类： (1)特定人的语音识别系统:其特点是依赖于说话者只有在用特定单词组形成的词汇表系统训练后，它才能识别。 (2)非特定人识别系统:此类系统可识别任何用户的语音。null按识别词的性质分类： (1) 孤立词(语音)识别系统:一次只提供一个单一词的识别。 (2) 连接词语音识别:连接词的语音由所说的短语组成，而短语又是由词序列组成 。连接词语音识别可用于命令和控制应用 。 (3) 连续语音识别:这种方法比孤立单词或连接词语音识别都复杂许多。 null连续语音识别系统分成三部分： 数字化、幅度归一化、时间归一化和参数表示。 分割并把语音段标记成在基于知识或基于规则系统上的符号串。 识别词序列并进行语音段匹配。 语音识别系统的组成语音识别系统的组成采样、量化语音端点检测计算语音谱估价音调轮廓图分解、鉴定语音特征单词识别识别后的语音语音输入参考村料库语义分析理解后的语音语义库语音识别难度大语音识别难度大语音变化大，不同人不一样，同一人也会有变化。 语音有模糊性，不同词语听起耒很相似。 同一字和词的发音受上下文影响而有不同（语音的同化、异化、换位、弱化、脱落等音变现象）。 环境噪声的干扰，例如墙壁与物体对声波的反射会与主声波重迭。 连续语音流不易把单字（词）区分出来（端点检测） 例如，若单字（词）识别正确率为0.95，则： 3个单字（词）组成的句子识别正确率为 0.857 8个单字（词）组成的句子识别正确率为 0.663 单字（词）与库中的模板比较之前，必须进行复杂的“时间归一化”处理。null语音合成（Speech synthesis）：指人们根据语言学的知识，在语音分析技术和语音存储技术的基础上，利用适当方法和手段，重构语音的过程。 有两种情况： 第一，语音再现。这是一个声音的还原过程。 第二，模仿人说话。首先形成要说的内容；其次转成基本发音编码序列；然后进行判断理解，决定声调、重音和语气，形成“言语码”；最后控制并输出语音。null语音合成要求是可以理解的，并且是很自然的，应用范围比较广，比如自动报警, 自动应答, 有声校对, 有声电子邮件, 残疾人服务等 两类方法对比较两类方法对比较 语音生成同样有困难语音生成同样有困难语音单元的自然连接问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 语气、语调问题 多音字（词）问题 趋势：Sound-specific methods(两种方法相结合)语音合成方法（三种）语音合成方法（三种）文语转换器文语转换器文—语转换：与录音的重放不同，它是从输入的任何文本产生合成语音输出，这就相当于人去读书面文章的过程。这个过程既包含有很高级的信息处理，又包含发音器官复杂的生理控制。 两个组成部分： 发音器：语音合成器，它相当人的发音系统。 驱动器：输入是要发声的文本串或其它语言信息，输出用来驱动发声器发音。null总结总结课后习题： 1，2，3，7，8，9，11,15，16，17 实践题目： 使用声音处理软件进行声音的采集和处理作业作业课后作业： 书上： 1，2，3，7，8，9，11,15，16，17 课外：