基于分布式流媒体计算框架的转码系统的设计与实现

基于分布式流媒体计算框架的转码系统的设计与实现 第 3 0 卷 第 9 期 计 算 机 应 用 与 软 件 V o l ? 3 0 N o . 9 2 0 1 3 年 9 月 C o m p u t e r A p p l i c a t i o n s a n d S o f t w a r e S e p . 2 0 1 3 基 于 分 布 式 流 媒 体 计 算 框 架 的 转 码 系 统 的 设 计 与 实 现 张 宇 刘 新 叶 德 建 ( 复 旦 大 学 软 件 学 院 上 海 2 0 1 2 0 3 ) 摘 要 流 媒 体 应 用 的 迅 速 发 展 , 以 及 各 种 无 线 设 备 的 应 用 提 升 了 对 视 频 转 码 的 需 求 。 传 统 转 码 方 案 依 赖 单 一 服 务 器 , 存 在 效 率 低 和 单 点 依 赖 问 题 。 设 计 一 种 分 布 式 流 媒 体 计 算 框 架 , 并 基 于 该 框 架 实 现 了 分 布 式 转 码 系 统 。 该 系 统 具 有 高 转 码 效 率 、 鲁 棒 性 高 的 特 点 。 同 时 , 提 出 面 向 转 码 的 负 载 均 衡 方 案 有 效 降 低 了 转 码 的 处 理 时 间 。 测 试 数 据 表 明 通 过 该 系 统 转 码 流 媒 体 , 处 理 时 间 可 降 低 7 0 % 。 关 键 词 流 媒 体 分 布 式 系 统 转 码 负 载 均 衡 中 图 分 类 号 T P 3 1 1 文 献 标 识 码 A D O I : 1 0 . 3 9 6 9 / j . i s s n . 1 0 0 0 ? 3 8 6 x . 2 0 1 3 . 0 9 . 0 2 7 D E S I G N A N D I M P L E M E N T A T I O N O F T R A N S C O D I N G S Y S T E M B A S E D O N D I S T R I B U T E D V I D E O S T R E A M I N G C O M P U T I N G F R A M E WO R K Z h a n g Y u L i u X i n Y e D e j i a n ( S c h o o l o f S o f t w a r e , F u d a n U n i v e r s i t y , S h a n g h a i 2 0 1 2 0 3 , C h i n a ) A b s t r a c t F a s t d e v e l o p m e n t o f v i d e o s t r e a m i n g a n d t h e a p p l i c a t i o n s o f v a r i o u s w i r e l e s s d e v i c e s i n c r e a s e t h e d e m a n d i n v i d e o t r a n s c o d i n g . T r a d i t i o n a l v i d e o t r a n s c o d i n g s o l u t i o n r e l i e s o n s i n g l e s e r v e r , w h i c h h a s l o w e f f i c i e n c y a n d s i n g l e ? n o d e ? d e p e n d e n c y p r o b l e m s . W e d e s i g n a d i s t r i b u t e d v i d e o s t r e a m i n g c o m p u t i n g f r a m e w o r k , a n d i m p l e m e n t a d i s t r i b u t e d t r a n s c o d i n g s y s t e m b a s e d o n t h e f r a m e w o r k . T h i s s y s t e m h a s t h e f e a t u r e o f h i g h t r a n s c o d i n g e f f i c i e n c y a n d r o b u s t n e s s . A t t h e s a m e t i m e , w e a l s o p r e s e n t a t r a n s c o d i n g ? o r i e n t e d l o a d b a l a n c e s t r a t e g y w h i c h e f f e c t i v e l y r e d u c e s t h e t r a n s c o d i n g t i m e . T e s t i n g d a t a s h o w s t h a t t h e d i s t r i b u t e d t r a n s c o d i n g s y s t e m c a n r e d u c e t h e t r a n s c o d i n g t i m e f o r s t r e a m i n g m e d i a b y 7 0 % . K e y w o r d s V i d e o s t r e a m i n g D i s t r i b u t e d s y s t e m T r a n s c o d i n g L o a d b a l a n c e 衡 问 题 。 0 引 言 考 虑 到 流 媒 体 应 用 大 都 存 在 计 算 压 力 大 、 耗 时 长 的 问 题 , 我 们 设 计 了 一 个 分 布 式 流 媒 体 计 算 框 架 , 形 成 一 套 完 整 的 分 布 式 随 着 网 络 基 础 设 施 和 视 频 技 术 的 完 善 , 流 媒 体 应 用 在 互 联 转 码 解 决 方 案 , 具 有 高 转 码 效 率 、 鲁 棒 性 的 特 点 。 网 应 用 中 的 比 重 逐 渐 加 大 。 转 码 在 流 媒 体 应 用 中 起 着 非 常 重 要 的 作 用 , 它 能 够 将 视 频 流 转 换 成 格 式 , 使 之 适 应 不 同 网 络 环 境 和 1 分 布 式 转 码 系 统 的 设 计 思 路 播 放 设 备 。 目 前 , 无 线 网 络 快 速 发 展 , 大 量 异 构 的 移 动 客 户 端 接 入 了 流 媒 体 服 务 , 这 对 视 频 转 码 功 能 提 出 了 速 度 更 快 , 支 持 格 式 1 . 1 设 计 目 标 更 多 的 要 求 。 因 此 提 高 转 码 性 能 , 成 为 了 流 媒 体 技 术 的 重 要 本 文 所 述 系 统 的 总 体 目 标 是 : 通 过 将 多 台 转 码 服 务 器 构 建 课 题 。 为 一 个 集 群 , 并 行 处 理 流 媒 体 数 据 , 达 到 加 速 处 理 转 码 任 务 的 目 通 过 多 台 转 码 服 务 器 构 造 集 群 , 提 供 转 码 任 务 的 分 布 式 处 标 。 同 时 , 系 统 具 备 以 下 特 性 : 理 是 解 决 转 码 性 能 问 题 的 重 要 方 向 。 文 献 [ 1 ] 提 出 了 将 M P E G ? 1 ) 高 效 性 能 够 充 分 利 用 计 算 资 源 , 快 速 完 成 转 码 任 务 。 2 文 件 按 时 间 轴 划 分 为 段 , 分 别 并 行 处 理 的 转 码 方 法 , 而 后 通 过 2 ) 鲁 棒 性 转 码 任 务 和 各 节 点 失 效 不 影 响 系 统 的 稳 定 处 理 器 间 通 信 获 得 相 邻 段 信 息 , 解 决 质 量 下 降 问 题 。 文 献 [ 2 ] 运 行 。 提 出 了 基 于 数 据 位 置 的 作 业 调 度 算 法 , 提 升 了 处 理 性 能 。 文 献 3 ) 透 明 性 首 先 , 系 统 对 外 部 屏 蔽 后 台 的 转 码 服 务 器 集 [ 4 ] [ 3 ] 的 作 者 利 用 M P I 框 架 结 合 f f m p e g 构 建 系 统 , 并 提 出 了 静 群 ; 其 次 , 转 码 节 点 的 失 效 对 于 系 统 外 部 来 说 是 透 明 的 。 态 负 载 均 衡 方 案 。 但 是 我 们 发 现 , 这 些 研 究 大 多 着 眼 于 分 布 式 1 . 2 系 统 架 构 设 计 转 码 的 算 法 设 计 和 优 化 , 缺 少 基 于 分 布 式 系 统 整 体 的 设 计 , 以 及 本 节 主 要 从 网 络 拓 扑 结 构 、 核 心 工 作 流 程 、 软 件 架 构 设 计 三 [ 5 , 6 ] 可 扩 展 性 和 鲁 棒 性 的 研 究 。 同 时 , h a d o o p 提 供 了 优 秀 的 分 布 式 文 件 系 统 和 分 布 式 计 算 框 架 , 但 没 有 针 对 流 媒 体 应 用 的 特 点 收 稿 日 期 : 2 0 1 2 - 0 5 - 2 4 。 国 家 科 技 核 高 基 重 大 专 项 ( 2 0 0 9 z x 0 1 0 3 9 ? 做 特 殊 优 化 。 文 献 [ 7 ] 基 于 h a d o o p 构 建 了 分 布 式 转 码 系 统 , 虽 0 0 3 ? 0 0 2 ? 0 0 3 ) 。 张 宇 , 硕 士 , 主 研 领 域 : 网 络 多 媒 体 。 刘 新 , 讲 师 。 叶 德 然 有 效 提 升 了 转 码 效 率 , 但 没 有 考 虑 系 统 的 单 点 失 效 和 负 载 均 建 , 副 教 授 。 第 9 期 张 宇 等 : 基 于 分 布 式 流 媒 体 计 算 框 架 的 转 码 系 统 的 设 计 与 实 现 9 3 3 . r a t e s = G e t _ L a s t e s t _ R a t e s 个 方 面 介 绍 分 布 式 转 码 系 统 。 / / 获 取 各 节 点 更 近 一 个 周 期 的 处 理 速 度 系 统 的 网 络 拓 扑 结 构 如 图 1 所 示 , 包 括 主 节 点 ( M a s t e r ) 和 4 . n u m s = C o m p u t e D i s t r i b u t i o n ( q u a n t i t y , r a t e s , n o d e s ) 转 码 节 点 ( S l a v e ) , 与 系 统 通 信 的 外 部 对 象 是 流 媒 体 服 务 器 和 / / 计 算 各 节 点 分 配 的 数 据 片 断 数 量 , 具 体 策 略 参 考 第 三 节 W e b 应 用 服 务 器 。 5 . f o r k = 1 t o N u m O f N o d e s 6 . c h u n k s = g e t C h u n k s ( C h u n k l i s t , n u m [ k ] ) 7 . s e n d n u m [ k ] c h u n k s t o N o d e ( k ) / / 发 送 数 据 片 断 至 转 码 节 点 8 . D e f s l a v e _ t r a n s c o d e ( ) / / 转 码 节 点 的 转 码 过 程 9 . w h i l e ( b u f f e r . h a s N e x t C h u n k ) / / 检 查 缓 冲 区 是 否 存 在 待 处 理 的 c h u n k 1 0 . c h u n k = b u f f e r . n e x t C h u n k ( ) / / 获 取 待 转 码 的 c h u n k 1 1 . r e s u l t = T r a n s c o d e r . t r a n s c o d e ( c h u n k ) / / 调 用 转 码 模 块 处 理 c h u n k 1 2 . S e n d r e s u l t t o M a s t e r / / 将 结 果 发 送 1 3 . D e f m a s t e r _ m e r g e ( r e s u l t s ) / / 对 转 码 节 点 计 算 结 果 的 合 并 操 作 1 4 . i f ( r e s u l t s . n u m ( ) = c h u n k s . n u m ( ) ) 图 1 分 布 式 转 码 系 统 的 网 络 拓 扑 结 构 图 / / 当 c h u n k s 全 部 被 转 码 完 毕 其 中 , 主 节 点 接 收 流 媒 体 服 务 器 的 原 始 视 频 数 据 流 , 并 向 转 1 5 . t r a n s c o d i n g _ v i d e o = M e r g e r . m e r g e ( r e s u l t s ) 码 节 点 分 配 计 算 任 务 。 转 码 节 点 负 责 完 成 数 据 片 断 的 转 码 任 / / 调 用 合 并 模 块 合 并 转 码 节 点 的 计 算 结 果 务 , 并 向 主 节 点 输 出 计 算 结 果 。 流 媒 体 服 务 器 和 W e b 应 用 服 务 1 6 . S e n d ( t r a n s c o d i n g _ v i d e o , i n v o k e r ) 器 从 系 统 外 部 通 过 主 节 点 调 用 转 码 程 序 , 并 查 看 转 码 进 度 。 / / 将 转 码 后 的 视 频 发 送 给 外 部 任 务 调 用 者 系 统 的 核 心 工 作 流 程 如 图 2 所 示 。 视 频 流 数 据 由 S p l i t t e r 系 统 的 软 件 架 构 设 计 如 图 3 所 示 。 分 为 分 布 式 流 媒 体 计 算 分 拆 为 数 据 片 断 , 通 过 L o a d B a l a n c e r 计 算 为 每 个 节 点 分 配 的 数 框 架 和 转 码 计 算 模 块 两 部 分 。 据 包 。 转 码 节 点 接 收 到 数 据 片 断 后 将 其 传 入 T r a n s c o d e r 中 , 并 分 布 式 流 媒 体 计 算 框 架 负 责 系 统 服 务 器 间 的 信 令 和 数 据 的 将 计 算 结 果 传 回 主 节 点 合 并 。 交 换 、 为 流 媒 体 数 据 处 理 插 件 提 供 运 行 时 环 境 , 以 及 计 算 任 务 分 配 等 职 责 。 框 架 的 核 心 模 块 如 下 : 1 ) 负 载 均 衡 模 块 是 系 统 分 配 任 务 的 核 心 组 件 , 它 采 用 动 态 均 衡 策 略 , 计 算 各 转 码 节 点 的 任 务 分 配 量 。 2 ) 异 常 处 理 模 块 是 系 统 鲁 棒 性 的 重 要 保 证 , 当 系 统 中 出 现 转 码 节 点 异 常 或 片 断 处 理 失 败 的 时 候 , 异 常 处 理 模 块 向 负 载 均 衡 模 块 发 出 异 常 事 件 的 通 知 , 等 待 系 统 重 新 分 配 数 据 片 断 。 3 ) 转 码 处 理 插 件 通 过 插 件 加 载 的 方 式 , 计 算 框 架 为 插 件 提 供 运 行 时 环 境 。 图 2 分 布 式 转 码 系 统 的 核 心 工 作 流 程 图 核 心 算 法 的 伪 代 码 如 下 : 1 . D e f c h u n k / / 定 义 数 据 片 断 元 数 据 2 . I D / / 数 据 片 断 的 编 号 , 表 示 在 数 据 流 中 的 相 对 位 置 3 . B u f f e r / / 用 于 存 在 数 据 缓 冲 区 4 . P r o c e s s i n g N o d e / / 已 分 配 的 处 理 节 点 如 为 n u l l 表 示 暂 未 分 配 5 . P r i o r i t y / / 待 处 理 的 优 先 级 1 . D e f m a s t e r _ s p l i t ( i n p u t ) / / 主 节 点 s p l i t t e r 将 输 入 划 分 为 c h u n k s 2 . d o 3 . b u f f e r = r e a d ( i n p u t ) / / 读 取 i n p u t 至 b u f f e r 中 图 3 分 布 式 转 码 系 统 的 软 件 架 构 设 计 图 4 . c h u n k s = S p l i t t e r . g e t c h u n k s ( b u f f e r ) 转 码 计 算 模 块 分 为 两 部 分 , 转 码 处 理 插 件 以 及 转 码 工 具 库 。 / / 从 b u f f e r 中 获 取 的 数 据 片 断 本 系 统 采 用 的 转 码 库 是 f f m p e g , 通 过 对 f f m p e g 编 程 接 口 的 调 用 , 5 . C h u n k l i s t . a d d ( c h u n k s ) 完 成 具 体 的 转 码 工 作 。 / / 将 c h u n k s 加 入 待 处 理 的 数 据 片 断 列 表 1 . 3 异 常 处 理 6 . W h i l e ( e o f i n p u t ) / / 划 分 完 毕 异 常 处 理 模 块 的 设 计 考 虑 2 种 系 统 运 行 中 可 能 会 出 现 的 1 . D e f l o a d B a l a n c e ( ) / / 由 主 服 务 器 定 时 调 用 情 况 : 2 . q u a n t i t y = C h e c k _ N o d e s _ B u f f e r ( ) / / 检 查 转 码 节 点 缓 冲 区 未 处 理 数 据 片 断 数 量 1 ) 转 码 节 点 失 效 引 起 的 网 络 拓 扑 变 化 以 及 转 码 任 务 重 新 9 4 计 算 机 应 用 与 软 件 2 0 1 3 年 分 配 的 问 题 。 异 常 处 理 的 设 计 保 证 了 在 部 分 转 码 节 点 失 效 的 情 考 。 令 A 为 周 期 T 开 始 时 主 节 点 为 N 分 配 的 任 务 量 , 理 想 i + 1 , k i + 1 k 况 下 , 只 降 低 转 码 效 率 , 而 不 影 响 系 统 的 稳 定 性 , 一 定 程 度 上 为 情 况 是 准 确 地 按 各 转 码 节 点 的 处 理 能 力 分 配 计 算 任 务 , 可 得 : 系 统 提 供 故 障 透 明 性 。 具 体 算 法 如 下 伪 代 码 描 述 。 q + A R i , k i + 1 , k i , k = ( 2 ) 1 . D e f o n N o d e F a i l d o w n ( n o d e ) q + Q R ? i , k i + 1 ? i , k k k / / 主 节 点 对 转 码 节 点 n o d e 失 效 的 处 理 其 中 Q 表 示 主 节 点 M 在 T 周 期 内 为 所 有 转 码 节 点 分 配 的 总 i + 1 i + 1 2 . / / 获 取 已 分 配 给 n o d e 但 未 完 成 计 算 的 c h u n k 列 表 任 务 量 。 根 据 本 策 略 基 于 的 假 设 式 ( 1 ) , 可 得 : 3 . c h u n k l i s t = n o d e . u n c o m p l e t e d C h u n k s ( ) Q = T R = T R ( 3 ) 4 . F o r e a c h c h u n k i n c h u n k l i s t i + 1 ? i + 1 , k ? i , k k k 5 . c h u n k . P r o c e s s i n g N o d e = n u l l / / 重 置 c h u n k 为 未 分 配 处 理 节 点 结 合 式 ( 2 ) 和 式 ( 3 ) , 可 求 出 在 一 个 新 的 周 期 T 内 , 为 N i + 1 k 6 . / / 将 c h u n k 加 入 负 载 均 衡 器 , 等 待 重 要 新 分 配 节 点 分 配 的 任 务 量 。 7 . l o a d B a l a n c e r . a d d ( c h u n k ) q i , k 8 . e n d ? k A = R - q ( 3 ) + T i + 1 , k i , k i , k 9 . n o d e l i s t . r e m o v e N o d e [ i ] / / 改 变 网 络 拓 扑 R ? i , k k 2 ) 单 个 数 据 片 断 转 码 失 败 引 起 的 整 个 视 频 数 据 流 转 码 不 当 A ? 0 时 , 主 节 点 在 周 期 T 内 , 不 向 转 码 节 点 N 分 i + 1 , k i + 1 k 成 功 的 问 题 。 由 于 单 个 数 据 片 断 无 法 转 码 会 造 成 整 个 任 务 的 失 配 新 的 计 算 任 务 。 败 , 如 图 4 所 示 。 本 系 统 的 处 理 是 立 即 向 所 有 转 码 节 点 发 送 任 我 们 认 为 系 统 的 执 行 效 率 取 决 于 数 据 片 断 的 合 理 分 配 , 系 务 停 止 指 令 , 避 免 无 效 的 转 码 工 作 浪 费 系 统 资 源 。 同 时 , 对 系 统 统 各 转 码 节 点 的 资 源 利 用 率 越 高 , 整 体 的 运 算 时 间 越 短 。 因 此 内 部 , 清 空 主 节 点 和 转 码 节 点 对 数 据 片 断 的 缓 存 ; 对 系 统 外 部 调 我 们 设 计 如 下 指 标 : 用 者 , 发 送 转 码 任 务 失 败 信 号 。 y k ? D p = ( 4 ) N 其 中 , 为 转 码 任 务 开 始 至 M e r g e r 收 到 最 后 一 个 c h u n k 的 转 码 D 完 成 信 号 的 时 间 。 y 表 示 D 所 在 时 间 段 内 N 处 于 解 码 的 时 间 , k k y k 表 示 N 的 资 源 使 用 效 率 。 p 表 示 分 布 式 转 码 系 统 的 整 体 资 源 k D 使 用 效 率 。 由 公 式 得 出 0 p 1 , p 越 大 表 示 主 节 点 负 载 分 配 的 ? ? 效 果 越 好 , 系 统 运 行 效 率 越 高 。 3 实 验 结 果 及 分 析 为 测 试 分 布 式 转 码 系 统 的 整 体 运 行 效 率 和 负 载 均 衡 策 略 的 效 果 , 我 们 搭 建 了 一 套 完 整 的 系 统 进 行 性 能 评 估 实 验 。 实 验 配 置 为 : 主 节 点 1 台 、 转 码 节 点 4 台 , 采 用 相 同 配 置 : C P U为 双 核 X e o n , 2 . 2 6 G H z 主 频 , 内 存 2 G B , 存 储 空 间 1 5 0 G B 。 测 试 视 频 为 图 4 数 据 片 断 转 码 失 败 的 异 常 处 理 流 程 图 大 小 6 0 0 M B 的 A V I 格 式 文 件 , 帧 速 率 2 3 帧 / 秒 , 视 频 尺 寸 6 4 0 × 4 3 2 , 测 试 项 目 为 将 文 件 转 码 为 尺 寸 4 0 0 × 3 0 0 , 帧 速 率 2 0 帧 / 秒 2 负 载 均 衡 策 略 的 m p 4 格 式 文 件 。 我 们 将 系 统 的 数 据 片 断 大 小 设 置 为 3 0 M B 。 转 码 工 具 库 采 用 f f m p e g 提 供 的 A P I 。 由 于 主 节 点 M e r g e r 的 合 并 操 作 依 赖 各 转 码 节 点 的 计 算 结 3 . 1 系 统 运 行 效 率 测 试 果 , 因 此 最 后 完 成 主 节 点 分 配 任 务 的 那 个 转 码 节 点 将 成 为 系 统 根 据 我 们 的 测 试 , 使 用 单 一 转 码 节 点 的 传 统 转 码 方 式 进 行 的 性 能 瓶 颈 。 实 验 的 时 间 区 间 为 7 7 2 s ~ 7 8 3 s , 我 们 取 平 均 转 码 时 间 7 7 7 . 5 s 为 本 文 提 出 的 面 向 分 布 式 转 码 系 统 的 负 载 均 衡 的 思 路 是 : 为 基 准 时 间 , 并 将 分 布 式 转 码 系 统 的 运 行 时 间 归 一 化 处 理 。 各 转 码 节 点 分 配 与 之 计 算 能 力 相 匹 配 的 任 务 量 , 降 低 部 分 转 码 图 5 是 使 用 不 同 转 码 节 点 的 分 布 式 转 码 系 统 的 运 行 时 间 节 点 性 能 瓶 颈 对 整 体 性 能 的 影 响 , 以 提 升 转 码 效 率 。 同 时 , 该 算 ( 已 相 对 基 准 时 间 做 归 一 化 处 理 ) 的 对 比 。 法 能 够 适 用 于 分 布 式 流 媒 体 计 算 框 架 对 于 转 码 节 点 失 效 的 异 常 处 理 。 具 体 分 配 策 略 描 述 如 下 : 我 们 设 定 系 统 每 隔 周 期 T 时 间 : 主 节 点 M 对 系 统 进 行 一 次 负 载 均 衡 ; 转 码 节 点 N 向 M 发 送 任 务 状 态 , 包 括 最 近 一 个 周 期 k T 内 的 计 算 速 度 R , 以 及 T 结 束 时 待 处 理 任 务 量 q 。 当 N 出 i i , k i i , k k 现 失 效 问 题 时 , 令 R = 0 , q = 0 。 i , k i , k 首 先 均 衡 策 略 基 于 这 样 的 假 设 : T 时 间 段 的 网 络 状 况 、 服 i + 1 务 器 性 能 与 T 保 持 一 致 , 即 : i + 1 ( 1 ) R = R i + 1 , k i , k T 的 运 行 情 况 可 以 有 效 地 作 为 T 时 间 段 的 负 载 分 配 的 参 i i + 1 图 5 使 用 不 同 节 点 数 对 系 统 效 率 产 生 的 影 响