基于FPGA的视频转换器的设计及其IP核实现

基于FPGA的视频转换器的设计及其IP核实现 ,基于 的视频转换器的设计及其核实现 ,,,, ,, ,,,,,, , , , 胡捃云利军石俊生高银雷连莎 :云南师范大学 颜色与图像视觉实验室, 云南 昆明 ;云南师范大 学 信息学院, 云南 昆明 :,(,,,,,,,(,,,,,, :摘 要 视频格式转换是视频图像处理领域中的研究热点 针 对某航空研究所的实际需要 ,基 于( 技术设计开发了一套通用视频转换器 该转 换器可将 制模拟视频信号转换 为 格式 的 ,,,, (,,, ,,, ,,信 号 在 开 发环境中 运用硬件描述语言 实现各个子模块功能 并 将 ,,,,(,,,,,,,，，,(,,,,,,,,,,, 去隔行和帧频提升两个功能模块设计成核的形式 通过仿真和实验验证 ,系统达到了设 计要求 ,实 现 ，, ( 了在复杂电磁环境下视频图像的实时 、高 质量传输( 关键词: ;视 频转接器 ;核 ;;,,,,，, ,,,,,,, ::中图分类号 文献标志码 ,,,,,(, , : ::文章编号,,,,,,,,,,,,,,,,,,,,,, , 、频转换器主要完成的功能包括视频信号的采集 、,、分配存 储以及显示其 中包括去隔行技术分 辨 引 言 , 、、率转换帧 频转换色 度空间转换等视频处理系 ( , 统的 总 体 结 构 及 其 功 能 框 图 如 图 所 示其 中, (,随着科学技术的飞跃发展 视 频图像 已 成 为 、依 靠 像 素 时 钟 和 行 场 同 步 信 号 采 集 ,,,, 人们生活必不 可 缺 的 信 息 载 体低 压 差 分 (,,,, , 解码器 输 出 的 视 频 数 据 信 号,,,,,,,, ,,, 信号传输是世纪年代产生的一种数据传输 ,,,, ,并利用双 模块进行视频图像处理 最 后通 ,、、,,,, 和接 口 转 换 技 术因 其 具 有 高 速低 噪 声低 ::、、,过 编 码 器 对信号进行编 码 输 出 低电源低 损耗等 特 点因 而 成 为 高 速 视 频 ,,,,,,,,,,， ,,,视频信号,,,,( 的首选接口标准由 于不同显示设备的 接 口 标 ( ,准不同因此需 要视频转换器对视频信号进行转 换从而使其在不同设备上显示 本 文应某航空研 ( ,究所对高速视频传输系统的要求 基 于 技 ,,,, ,术设计一个将通用 制模拟视频信号转换成 ,,, ,格 式 的 信 号 的 视 频 转 换 器其 中 将 ,,, ,,,, ———、视频处理的相关算法去 隔行帧 频 提 升 制 成 ,核形式以便后来开发者的复用，, ( , 视频转换器硬件设计 ,,,,,,,, ,本设计以 为平台将原 始的隔行扫描,,,, 的 制模拟视频信号转换为逐行扫描的 ,,, ,,, 图 , 视频转换器结构框图 ,,,,,,,,,形式 的 视 频 信 号并 使 图 像 的 分 辨 率 由 ,,,, ,,(, ,,,,,,,;,,,,,,,,,,,,,,,,,,,,,, 提高到 即 视,,,×,,, ,,,,×,,, (,,,,,,, , ,,,,,;,,,,,,,,,,,,, :, 收稿日期 ,,,,,,,,,, 基金项目 :云南省学术带头人后备人才培养资助项目::,,,,,，,,,( :::,,,,作者简介 胡 捃,,,,女 江西九江 人 硕士研究 生 主要从事视频图像处理方面研究( , :::,,,,、通信作者 云 利军,,,,男 内蒙古呼和浩特人 教 授 主要从事嵌入式系统 视频图像处理方面研究 ( , ?? (),,云南师范大学学报自 然科学版 第 卷,, ()与 解码模块 两 块 ,,,,,,,,,,,,,, ×,,,,,,(,,,, ,(, 解 码 芯 片 ，芯片在进行通信时 通 过乒乓 操 作 和 相 关选 用 公 司 生 产 的 ,,,, ,,,,,,, 算法来完成视频格式转换( ， ,,,,,,,, 芯 片它 由 主 控 芯 片 ,,,, ()通过串行总线对其进行初始,,,,,,,,,，,，，, 编码模块 ,(, ,,,:化配置芯 片 具 有 如 下 优 点它 编码模块选用的是国际半导体公司生产的编 (,,,,,,,, ? 、、、 码芯 片 该 芯 片 是 一 款 功 能 强 大 的 串 有 路 输 入 视 频 模 拟 信 号 ,,,,,,,,(, ,，,,,，,,,，,, ，，行传输芯片它可以将位的并行视频数据转换 其 视 频 输 入 信 号 可 以 是 复 合 视 频 信 号,,,，,, ();()或路 模拟输入信号能自 动 为标 准 的 串 行 差 分 接 口 信 号 来 输 出,,,,,,,,,,,,?,,,,( ;识别 和 输入视频信号支持 ,,,, ,,, ? ,,, ，支持像素时钟为传 输的,,,,,,,,,,,, ,,,, ::()、::()、::的输出格式有,,,,,,,,,,,,,,,,,, ，,数 据 量 可 高 达 符 合 ,(, ,,,,，,,，,,, ()::()、::或 输出格式有 ,,,,,,,, ,,,,,,,,,,, ,,,标准,,,,,,,( ();、通 过 配 置 能 调 节 信 号 的 亮 度对 ,,,,,? ，，, ,,,比度和饱和度( , 视频转换器软件设计及 相 ,,,,,,,, 存储模块 关核生成 ,(, ，, ,、 系统需要将分 辨 率 为 帧秒,,,×,,,,,, 隔行扫描的 制模拟视频信号转换成分辨率 ,,, 视频转换器软 件设计主要包括 ,,,,,,,, ,、为帧秒逐行扫描的 格式 ,,,,×,,,,,,,, ,、、解码器的配置隔行扫描转逐行扫描的设计 分辨 ，信号这需要一系列视频图像算法来完成 区别于 (、，率转换的设计帧频变换的设计等 其中本文把隔 ，普通静态图像处理在视频图像处理过 程中要求 行扫描转逐行扫描的设计和帧频变换的设计制成 ， 视频显示输出的流畅性和实时性 考虑到这一点(，核以便 后 来 开 发 者 的 复 用 视频转换器的软 ，, (系统选用两块大容量 用于 外围存 ,,,, ,,,, 件设计及相关核生成框图如图所示，, ,( ，储视频图 像在 这 次 设 计 中芯 片 选 用 的(,,,, 是 、公 司 的 高 速大 容 量 存 储 器 ,,,,,,, 图 视频转换器的软件设计及相关核生成框图, ，, ,,(,,,,,,,,,,,,,,,,;,;,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,，,;,,,,,,, 隔行扫描转逐行扫描核的生成与验证，、、,(, ，, 扫描目 前主要有场内插值法场 间插值法基 于 ,,,，运动估计的自适应插补法基 于这几种 方 法 的 将 模拟视频信号由隔行扫描变 为 逐 行,,, ?? ，:第 期胡 捃 等 基于 的视频接口转换器的设计及其核实现,,, ,,,, ，, ，优缺点本文选用场间插值法来实现去隔行 ，( 按照这样的开发流程在 建立新的工 程 时 可 ，以直接调用该网表文件 在 新建 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 中根据提供 场间 插 值 方 法 在 硬 件 上 实 现 是 通 过 两 片 ，在 的控制下进行乒乓操作完成的端口信息实例化这个设计模块 与 其他模块进 ,,,, ,,,, ，的首先 解 码 器 输 出 的 隔 行 扫 描 视 行逻辑连接即可缩短开发周期 调用生成的去隔 ( ,,,,,,,, (频 信 号的第一帧的奇数场数据流缓存到 ，，，,,,,, 行核的 框图俗 称黑盒子如 图 所示，, ,,, , ， 中，这意味着每写一行地址需要空出一行地址给偶单击该框图即可察看到该的端口信息但 无逻 ，, ，数 场数据流然后 在实际操作中将偶场数据流插辑关系( 中的奇数场数据流中在 操作完入 ,,,,, ( ，成后一 幅完整的图像就存储到 存储器,,,,, 中然 后( 第二 帧 视 频 信 号 按 相 同 的 方 法 依 次 存 入 到 ，中与 此 同 时将 已 经 存 入 到 ,,,,, (,,,, 中的 第 一 帧 视 频 数 据 顺 序 读 出乒 乓 操,,,,,( 作使得 和 一直处于读写的状态 ,,,,, ,,,,, 图 调用核 图, ，, ,,, ，中完成隔行扫描到逐行扫描的转换 ( ,,(, ,,,,,,,,,, ,,,,，,;,,,,, ，首 先在 中 用 硬 件 描 述 语 言,,,,,,,,(, ，最后在 中利用硬件描述语言 ,,,,,,,，，,(,将 制 模 拟 视 频 信 号 由 隔 行 扫,,,,,,,,, ,,, , 、对其进 行 调 用编译并进行仿真验 ,,,,,,, ,,, ，、、 描变逐行扫描进行描述并 对其进行编译综 合，证其仿真波形如图所示,( ，，验证成功后则 可转化为核形式即 创建一个，, ()输出网表文件文件,,,,,,,,,,,(,(,,？, 去隔行仿真波形 图 , ,,(, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,;,,,,, ,、图中的 依次为像素时钟 ,,,,,;,,,,,,,, 分辨率转换的设计 ,(, ，、，、、本文实现的功能之一为实现分辨率 增 大 即 复位 信号依 次为 信 号 的 ,,,,,,,,,,,, 视频信号的 分 辨 率 由 扩 大 到 、，,,,×,,, ,,,,× 奇偶场信号行消隐信号和场同步消隐信号 中间 ,,,,，变量 和 依 次为 分 辨率的放大使 得行同步频率和每场行数 ,,,,,,,,,,,,,,,,,,,,,,,,,,,,( ，,,，，写入 的地址和数据和 都得到增加这样每场就会有新数据产生 则像素 ,,,, ,,,,,,,,,,,,,, ，,,的时钟频率和每行像素量均有相应的增加 每 行 依 次为从 中读出的地址和 ,,,,,,,,,,,,,,, ，，，就需有新像素值生成采用均匀插值方式 即对存 数据从 图中可知经 去隔行处理后输 出数据的 (( ，放原始信号数据的 产生 有重复的地址计 形式为奇偶行交错输出继而验证了该 去隔行技 ,,,, 术的可行性( ，数值作为 的读取地址实现对某些 行的某 ,,,, 些像素进行重复读取为 了保证变换后图像拉伸( ?? (),,云南师范大学学报自 然科学版 第 卷,, ，均匀对写入的视频数据的分辨率实现 的放读 行地址计数器从原值 继续计至最大值 ,?, ,,,, ，大读出的视频数据的分辨率变为 ，，,,,×,,后再从开始计数共完成约个计数周期即 ,,(, ，,( 上面还没有达到设计的需要 此 时根 据 ，每经过次乒乓工作切换读 的行地址计 ,,,,, ,,,人 眼 数器计满 个周期其 中每 帧图像中第 帧 (, , , ，对黑点的识别度不高在各帧图像的每 行两边各 ，图像传输两遍即可达到最后 输出的图像帧频为 ，加个黑点分辨率 即达到 根 据分 ,,,,,,×,,,(帧,,( ，辨率变换值累加法分 辨放大后为 的 ,,,,×,,, ，首先利用 用硬件描述语言 ,,,,,,,，，,(, ，格 式 的 信 号此时像素时钟为 ,,, ,,,, ,, ，，描述该模 块编 译 综 合 成 功 后对 其 进 行 ,,,,,,, 分 辨 放 大 前 后 每 行 像 素 数 量 变 换 比 值 为 ,,,(，，仿真若满足帧频提升的目的 再将源文件导出成 ，用 像素时钟从 开始计数并 从初值()，,,,?,,,,(, 一个 网 表 文 件 和 布 局 布 线 信 息制 成 (？,,，, 开始每进行模累 加 计算加 法 ，,,,,,,,,,,,, (核调用该核的 框图如图所示单击该 (，, ,,, , ，()，器在每个时钟上升沿时将 初值 一 开始为 加 框图即 可 察 看 到 该 的 端 口 信 息但 无 逻 辑 ,，, ，，关系若结果小于则直 接作为下次的累加初 ( ,,,,,,, ;，值若结果大于等于 则 结果减去 作为 ,,,,,,, 下次累加初值像素时钟的计数 通过累加结果进 ( :，行使能控制若 累加结果小于 时则 不允许 ,,,, ;，， 计数当 累加结果大于等于 时允 许 计 数,,,, ，这样每 次累加中会有 次允 许 计 数即 ,,,, ,,, 图 调用帧频提升核 图, ，, ,,, 每个时钟均匀产生了 个有重复的计数 ,,,, ,,, ,,(, ,,,,,, ,,,,,,,,,,,,, ,;,,,,,,,,,，,,,,，值该计数值就作为读取 的像素地址,,, ( ,;,,, ，行数变换同上分 辨率放大后对其进 行 行 同 ，其 中在 中 采 用 ,,,,,,,，，,(, ,,,,,,,;, ，， 步计数使能控制由累加去模计算的结果来决定 ，结合 对其进行仿真验证 其 仿 真 波 形 ,,,,,,,, 而 的读取行地址为计数值,,, ( ，,,、, 如图所示图中中间 变量 ,(,,,,;,,,,,,,,帧频变换核的生成与验证,(, ，, ,分 别 为 存 入 中 视 频 信 号 的 ,;,,,,,,,,,,, ,,,,，本设计采用帧复制 法将 视 频 信 号 的 帧 频 、图片数从 中 读出的视频信号的图片,,,, ()由隔行扫描的 帧 每 写入 帧 信 号 变 ,, , ,, ,,，数波形显示写入图片数张读出图片数( ,,()为逐行扫描的帧输出帧信号在选 ,,,,, ,,(，，张说明 输出信号每隔帧重复一帧满足系统,，择的乒乓操作中每输入一帧原 始信号进行一次 设计需求( 后来开发 者 在 建 立 新 的 工 程 时 根 ，乒乓操作在 一 个 操 作 的 周 期 内在 向 写 (,,,, ，，名可 以直接调用该核与 其他据 提 供 的 器 件 ，, ，中写入原始数据的一帧后 由另一个 读出 ,,,, 、，模块进行逻辑 连接例化从而可以缩短开发周，，，该信号当 前的帧就完成了输出 接 着开 始读取 期 ( ，写 的首行数据从而开始输 出新的一帧即,,, ( 帧频提升仿真波形 图 , ,,(, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,;,,,,,,,,,,,, ?? ，:第 期胡 捃 等 基于 的视频接口转换器的设计及其核实现,,, ,,,, ，, ()()()转换设计,(, ,,,,,, ,,,(,,,,,,,,(,,,,,,,,,(,,,,,,,, ,,, ()()视频信 号 的 主 要 特 性 之 一 为 其 颜 色 模 ,,, ,,,(,,,,,,，,(,,,,,,,,, ，型 本系统图 像传感器输出格式为 ，,,,,?,?, 在 中使 用 对 其 ,,,,,,,,(, ,,,,,,,,, , ，，的 信号需 要将其进 行 信 号 转 换转 ，,,, ,,, 进行描述因为我们输入的 制视频数据位宽 ,,, ，换后的格 式 为 然 后 通 过 自 行 设 计 的 ，，,?,?,为而 的比例为 所 以其仿真的 ,,,,, ,?,?, 转 视 频 转 换 器 来 观 察 显 示 效 果根 据 ,,, ,,，(、、，值依次为 并 满 足 分 量 取,,,,,,,,,,,, ,,, ，视频标 准 接 口对 于 位 宽 为 比 ，,,,,,,(,,,,, ，值为 和,,,,,, , 分 量 的 取 值 为 用 , ,,,,,(，特的 视 频 数 据的 颜 色 空 间 与 ,,, ,,, ,,, ,对 程 序进行仿真后的结,,,,,,,, ,,,,,,(, ,,,:颜色空间的转换关系如下 果如图所示,( ()(),,,(,,,,,,，,(,,,,,,,,, 图 ,仿真程序图, ,,,,,, ,,,(, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, 并在带 接口的显示器 上观察到显示效果 图,,，( 实验结果及分析 , ，所示为硬 件 电 路 的 开 发 和 实 验 结 果 其 中 图 ,, ()，()为视频信 号 硬 件 电 路 板 图 为 调 试 后 的,,, ，搭 建 调 试 硬 件 平 台 和 软 件 平 台 通 过 配 置 显示效果，( 各个寄存器后数 字视频信号的每个 ,,,,,,,, 、，像素时钟水平频率和垂直频率均满足设计要求 图 测试平台和实验结果: ::视频转换接口板 ;::调试后的显示效果 , ,, :::;,,(, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ::,,,,,,,,,,,,,,,,,,,,,,,,, 、行转逐行技术帧 频提升分别生成核形式根 ，, ( ，， 据自顶向下的设计思想 将其进行层次功能划分 结 论 , ，并对各子模块进行仿真验证 实 现了视频信号的 本文设计 的 是 基 于 技 术 上 实 现 的 视,,,, 、、、、、采集分 配存 储去 隔行分 辨率放大帧 频放大 ，频转换器 并将视 频处理 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 中的隔 及色度空间的转换 本文生成的核具有很好的,,,,,,,,(，, ?? (),,云南师范大学学报自 然科学版 第 卷,, ,,,,,,,,,,,,;,,,,,,,, ,,,,,,,,,,,,,，,,,,,,,,, ，，可移植性便于再次复用缩短设计周期( ,,:,,;,,,(,,,,,,,,,,,,,,,,,,,;,,,,,;,,,,,;,,,, , ，,,,,,,,( 张旭 基 于 的 图像转换控制器设 (,,,, ,,,,,,, ,, ,计,,哈 尔滨 :哈尔滨工业大学 ，:参 考 文 献 ,(,,,,( 张旭， 王 彬 一种 基 于 的实时图像转换控 制 (,,,, ,, ,,,，():器设计图像与多媒体技术 张光烈， 郑南 宁 ， 吴勇 ， 等 面向格式转换的数字视 ,(,,,, ,,,,,,,, ( ,频处理方法及其实现 硬 件 实 现 , ,中国 工程 科 学 ，郑永进 视频格式 转换算法研究及 实现,( (,,,, ,( ,, ,，():,,,,,,,,,,(, 去 隔行、 帧频 转换 、分辨 率 变 换 , ,东南大学硕, ,( 胡海 英 ，胡 冰 ，赵 新 田 ，等 用 设 计 模 拟 (,,,,,,,, ,, 士学 位论文 ，,,,,,( 视频 转 换 接 口 ,,电 子 技 术 应 用 ，，(): ,(,,,,,,,,, ,,,,,，,,,，,,,,,,(,,,,,,,;,,,,,,,,,,,,,,(, ,,,,(, :,,,, ,,,;,,,,,,( ;,( ,,,,,,,,,( ,,,;,,,,,,,,王前 ，吴 淑泉 ，刘 喜英 基 于 的总线接 口 (,,,, ，，, ,, ,,,,;,,,,,,,,,,,,,,,,,;,,,,(,,(, ,,，():,,,,实现方法微 电子技术 ,,(,,,, ,,,,,,( ，,,, ,,,,,,,, , ,,, ,,,,,,,, , ,,,,, ,, , ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, , ,,,,,，，，，,,,,,,,,,,,,,,,,,,,,,,,,,,:,,,,,,,,,,,,,,,, (，，，,(,,,,,,,,，,,,,,,,,,,,,(,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ,(,;,,,,,,，,,,,,,,,,, ，，，),,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, : ,,,,,,,,,,,,,,,,,,,;,,,,,,,,,,,,,,,,,,,,,;,,,,;,,,,,,,,,,,,,,,,,,,,,,,;,,,,,(,,,, ,,,,,,,,,,;,,,,,,,,,,,;,,;,,,,,;,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,;,,,,,,,,,,,,,,,, ，,,;,;,,,,,,,,,,,,,,,,,,,,,,,,;,,,,,,,,,,,,,,,,,,,,,,,,,(,,,,;,,,,,,,,;,,,,;,,,,,,,,,, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,(,,,,,,,,,,,,,,,,,,,,;,,,,,, , ,，,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,，，,(,,,,,,,,,,,,,,,,;,,,,,, ,,;,,,,,，，,,,,,,,,(,,,,,,,,,;,,,,,, ,,,,,,,,,,,,,,,,;,,,,,,,,,,,,,,,;,,,,,,,,,,,,,,,,,,,,,,,,, ,，,,,,,,,,,,,,,，,;,,,,(,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,;,,,,,,,,,,,,, ,,,,,,,, ,,,,,,,,,,，,,,,,,,,,(,,,,,,;,,,,,,,,;,,,,,,,,,;,,,,,,,,,,,,,,,,,,,,,,,,,;,,,,,,,,,;,,,,,,,,？,,,, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,(,,,？, :;;;;,,,,,,,,,,,,,,,,，,,,,,,;,,,,,,,,,,，,;,,,,,,,,,, ,