基于中底层视觉信息的体育视频智能分析

     基于中底层视觉信息的体育视频智能分析                  屈萍屈胜国康涛赵云雷（１．中山大学教育学院，广东广州５１０２７５；２．武汉体育学院体育工程与信息技术系，湖北武汉４３００７９；３．武汉体育学院运动训练学院，湖北武汉４３００７９）摘　要：在借鉴了计算机视觉技术和多媒体处理算法的基础上，提出了一种基于全自动高效视频分析框架的分析和 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 的体育视频分析结构。本视频分析框架拟从底层特征提取、中级关键基元生成出发，初步实现体育视频中的镜头分类和运动对象识别以及跟踪等。分析框架中包含了一些中低级别的足球视频镜头分类处理算法，如主色区域检测，鲁棒镜头边界检测，以及目标检测等等。关键词：体育视频分析；镜头分类；事件检测；特征提取Ｇ８0-05：A：1672-268X（2012）03-049-03随着Ｉｎｔｅｒｎｅｔ互联网、手机网络的不断进步和发展，人们可以随时随地观看各种体育视频，包括各种赛事的足球、篮球、网球，以及奥运会、亚运会等大型体育赛事的体育视频。这些体育视频是一类重要的媒体数据，它拥有庞大的观众人群、宽广的应用远景和不可忽视的商业潜力，受到相关学科领域和工商业界的注意。另外，随着Ｉｎｔｅｒｎｅｔ、移动电话和相关移动设备（如ｉＰａｄ、移动电视等）的应用推广，人们对体育视频的需求已不仅仅局限于直接观看和简单浏览，逐步向多功能和多元化发展，尤其表现在对特定事件的检测（比如精彩进球）、精彩片断摘要等方面，希望从中获得更多的信息和更细致的服务。然而，鉴于视频非结构化的数据 格式 pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载 、庞大的数据信息和表现 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 模糊等缺点，造成了视频数据统计分析等非常困难，同时这些服务还需要对许多视频进行智能化的语义分析与理解，在本文中将主要研究基于中底层视觉信息的体育视频智能分析框架。１　体育视频分析研究框架对视频数据中蕴涵的视觉和语义内容进行计算机处理、分析与理解并根据内容进行检索，其本质是对无序的视频数据结构化，提取视觉与语义信息，从而保证视频内容能被迅速检索到。体育视频分析的研究框架通常被视作一个三层次框架，即低级特征层、中级关键基元生成层和高级事件分析层（见图１）。低级特征层是能直接从视频数据中提取的信息，包含视觉（单帧画面的色彩和形状、动态内容等）、听觉（音频信息）和文本特征。本结构顶层为某些语义实体，诸如比赛过程和结构、精彩瞬间、特殊事件等等。本文的研究重点主要基于低级特征提取和中级关键基元生成。在体育视频分析中，存在着底层与高层间的语义鸿沟，为了解决这个问题，需要建立一个中间描述层，为低、高级语义架起桥梁。建立中级描述层，需要融入先验知识和特殊领域规则，帮助底层作出选择，并进行高级语义的推理。中间层定义了对视频片段的描述，称为关键基元，包括：①视频关键基元，如镜头种类、运动方式、主要运动目标方位和轨迹、纹理与形状、比赛方位等；②音频关键基元，如枪声、观众的呐喊、记者的声音、评论员的声音或突然出现的静音等；③文本关键基元，包括场景和人工加上的字幕等，如“得分”、“犯规”。本文主要针对视频关键基元进行分析研究。２　底层特征提取视频的底层特征应包括视觉特征、声音特征和文本特征等，本文主要讨论视频分析中的底层视觉特征。视觉信息视频的最重要的组成部分之一，包括单帧图像的颜色、纹理和形状以及视频的运动信息。2.1　颜色特征视频颜色处理的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 很多，主要方法是颜色直方图提取，这里我们采用Ｅｋｉｎ等（２００３）的视频主要颜色提取方法处理颜色特征，依照图像的颜色分布，可将镜头分为远景镜头、中景镜头以及特写和场外镜头。另外该特征可用于特定目标检测、跟踪与识别等。例如足球比赛视频中，足球场有一个明显的主色调（绿色基调），但在不同的天气和照明条件下，每个体育场会略有不同。本文中，我们假设足球场存在唯一的主颜色（绿色基调）。下面公式（１）能计算足球场主颜色：在该公式中，我们先把颜色从ＲＧＢ颜色空间转换到ＨＳＢ空间，然后统计Ｈ通道的直方图Ｈ［ｉｍｉｎ，ｉｍａｘ］，Ｑｓｉｚｅ为Ｈ颜色直方图量化的尺寸。2.2　纹理特征纹理可以显示实体外层或构造的特性，即为非某种颜色或亮度形成的同质视觉模式，比方说水、植物、沙滩、布料等的表面模式。纹理特征容纳了物体外层结构构建方式的关键性信息和与外周环境和背景之间的关系。所以，纹理特征在视频分析的应用中发展非常迅速，多见于图像分类、特定目标描述和检测等。描述方法通常有共生矩阵表示法、纹理基元表示法以及局部边缘直方图描述法等，我们采用Ｗ．Ｙ．Ｍａ等（１９９６）提出的ＧａｂｏｒＴｅｘｔｕｒｅＦｅａｔｕｒｅ算法分析视频的纹理特征2.3　形状几何特征此特征多用于目标描述、比赛场地的表达等。举一个例子，描述球、场地的形状以及方位判断，更细致一点，可以作为足球视频中的进球、开球、球出界等镜头识别。本文中我们采用边缘的ＳｈａｐｅＣｏｎｔｅｘｔ方法进行形状匹配识别，其几何形状的直方图匹配距离定义如下：2.4　运动特征此特征为视频数据的独有特点，表现出视频信息不断发展变化的进程。运动特征主要用于表示视频中运动物体的快慢，例如快镜头和慢镜头的识别等。这里我们主要采用光流分析法计算运动图像的速度（公式（７））：３　中级关键基元提取中级关键基元作为中间桥梁连接了底层特征和高级语义。体育视频中常用的中级关键基元包括镜头类型（本文中包括近、中、远和场外四种镜头）、比赛位置、特定目标检测、位置与运动轨迹等。３．１　镜头分类视频是如何进行制作呢，起初为单一镜头拍摄；其次按照某种关系或联系，将信息相类似的多个镜头组合编辑串联在一起（即镜头转换方式），形成小故事单元。由此可知，镜头一方面是组成视频的基本单位，另一方面也是深层次剖析视频信息的重要依据。另外特定镜头类型及其转换上下文预示着特定语义事件。本文中我们分析的足球比赛视频中的镜头类型涉及到长镜头、中镜头、特写和场外镜头等。长镜头多用于描述赛场的关键区域（如图２ａ和图２ｂ），中镜头可以表现比赛的某一特定事件或动作（如图２ｆ），而短镜头（特写）则可以近距离地刻画某一特定目标，尤其是人物表情（如图２ｃ和图２ｄ），场外镜头则描述场外观众（如图２ｆ）。根据场地线检测、场地面积、人脸和运动员检测、足球识别和跟踪、场地中的物体尺寸等特征，同时根据足球视频的利用决策，完成长、中镜头以及特写和场外等镜头的分类。具体算法如下：算法１：镜头分类算法（１）计算图像的主颜色（公式１），并以绿色作为主颜色来识别分割视频图像的草地区域；（２）提取草地区域的白色边缘线，并根据足球场的几何特征（公式６）判断比赛位置和区域大小；（３）采用纹理特征（公式２－５）计算外场观众区域；（４）采用人脸检测算法检测图像人脸的区域和大小；（５）采用ａｄａＢｏｏｓｔ算法检测运动员的大小；（６）根据草地区域的大小、比赛位置和区域、运动员的大小综合判断中镜头和远镜头；（７）根据人脸的区域和大小判断特写镜头；（８）根据外场观众区域和草地区域的比例判断是否为场外镜头。３．２　比赛位置判断比赛位置同样为体育视频的主要内容之一。在球类运动中，将其定义为当前画面对应的场地上的位置。比方说可以将足球场划分为禁区、禁区、中场等不同区域。比赛位置及其空间转换能够传递比赛的进程、节拍和现场状况，比如精彩镜头多为射门的镜头，而这些时刻的比赛位置多发生在禁区的前沿部分，而中场则表示比赛处于僵持状态，因此比赛位置也作为一个中级关键字检测语义事件。本文中我们把足球场地分为５个区域，如图（３）所示，包括左半场、左禁区，中场、右半场、右禁区。在实验中，比赛位置判断的算法比较简单，首先提取草地区域的白色边缘线，然后根据足球场的几何特征（公式６）判断比赛位置。研究数据已经证实对足球场分为五个区域已经能够较好地检测和识别诸如射门、越位、角球、假摔、进球等事件。３．３　目标设别与跟踪在体育类比赛节目中，运动员、裁判、球和球门等目标检测、跟踪与轨迹分析也是一个很重要的任务。它们往往是高级语义事件和视频摘要的重要基础；另外这些重要目标的检测和跟踪也是比赛体育策略分析、行为分析与索引等的重要前提，可用于分析比赛阵形、进攻路线以及配合动作等。3.3.１　球的检测与跟踪基于颜色的模板匹配技术是早期的足球检测的基本方法，而足球跟踪则使用模板匹配或Ｋａｌｍａｎ滤波等技术。因为足球比赛视频中，足球体积较小，移动速度快，还易发生被遮挡等纷杂变化的情形，所以单单根据每帧或前后若干帧图像的不能高效而稳定的完成识别与追踪。本文中我们采用一种基于轨迹的运动足球检测和跟踪方案。先利用ＡｄａＢｏｏｓｔ算法来检测得到每帧图像的候选球，然后使用卡尔曼滤波器进行预测跟踪，生成初始轨迹。此外结合卡尔曼滤波器预测和线性插值，补充视频中被遮挡时球的位置。3.3.２　裁判和运动员的检测、跟踪与分类裁判和运动员的识别、检测、跟踪以及运动员分类是策略分析中非常关键的部分，然而常常因为运动员人数较多且易于变化、挤推、遮盖、动作改变、视频分辨率低等等因素，使得这一任务的实现也是很困难的。在低分辨率情况下我们仅仅采用利用无监督聚类学习球衣颜色，并以之识别比赛双方的运动员、守门员和裁判；同时守门员的信息还可依赖禁区这一个重要比赛区域信息的帮助进行跟踪和识别，但是跟踪的效果欠佳。而在高分辨率的情况下才采用运动员衣服上的数字编号信息来识别运动员的身份。3.3.３　球门的检测球门对于射门和进球等事件有提示作用，同时也有助于识别守门员目标。图４为基于球门检测的进球事件监测结果。首先我们检测范围定在小禁区和场地边线，紧接着利于灰度增长搜索来识别平行门柱和横梁，当以上要素都识别到以后就可以视作球门的出现。其次守门员的检测也能辅助球门的检测。参考文献：［１］Ｌｉｎｇ－ＹｕＤｕａｎ，ＭｉｎＸｕ，Ｔａｔ－ＳｅｎｇＣｈｕａ，ＱｉＴｉａｎ，Ｃｈａｎｇ－ＳｈｅｎｇＸｕ．Ａｍｉｄ－ｌｅｖｅｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｒａｍｅｗｏｒｋｆｏｒｓｅｍａｎｔｉｃｓｐｏｒｔｓｖｉｄｅｏａｎａｌｙｓｉｓ［Ａ］．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｅｌｅｖｅｎｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ［Ｃ］．Ｂｅｒｋｅｌｅｙ，ＣＡ，ＵＳＡ．，２００３：３３－４４．［２］Ａ．Ｅｋｉｎ，Ａ．Ｍ．Ｔｅｋａｌｐ，Ｒ．Ｍｅｈｒｏｔｒａ．Ａｕｔｏｍａｔｉｃｓｏｃｃｅｒｖｉｄｅｏａｎａｌｙｓｉｓａｎｄｓｕｍｍａｒｉｚａｔｉｏｎ［Ａ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ［Ｃ］．２００３，１２（７）：７９６－８０７．［３］Ｗｅｉ－ＹｉｎｇＭａ，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ．ＴｅｘｔｕｒｅＦｅａｔｕｒｅｓａｎｄＬｅａｒｎｉｎｇＳｉｍｉｌａｒｉｔｙ［Ａ］．１９９６ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ＇９６）［Ｃ］．１９９６：４２５－４３０．［４］ＤｕａｎＬ，ＸｕＭ，ＴｉａｎＱ．Ｓｅｍａｎｔｉｃｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎｉｎｓｐｏｒｔｓｖｉｄｅｏ［Ａ］．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＰＩＥＳｔｏｒａｇｅａｎｄＲｅｔｒｉｅｖａｌｆｏｒＭｅｄｉａＤａｔａｂａｓｅｓ［Ｃ］．ＳａｎＪｏｓｅ，ＵＳＡ，２００３：３００－３１３．［５］ＬｉＪ，ＷａｎｇＴ，ＨｕＷ，ｅｔａｌ．ＴｗｏｄｅｐｅｎｄｅｎｃｅＢａｙｅｓｉａｎｎｅｔｗｏｒｋｆｏｒｓｏｃｃｅｒｈｉｇｈｌｉｇｈｔｄｅｔｅｃｔｉｏｎ［Ａ］．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａａｎｄＥｘｐｏ［Ｃ］.Ｔｏｒｏｎｔｏ，Ｃａｎａｄａ，２００６：１６２５－１６２８．（收稿日期2012-02-23） -全文完-