2012CB316300-G面向公共安全的社会感知数据处理

项目名称： 面向公共安全的社会感知数据处理 首席科学家： 谭铁牛 中国科学院自动化研究所 起止年限： 2012.1-2016.8 依托部门： 中国科学院 一、关键科学问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 及研究内容 1. 拟解决的关键科学问题 如前所述（详见“立项依据”部分），保障国家公共安全与提高社会管理的科学化水平、支持国家经济建设和社会发展的科学决策、带动新一代信息技术等战略新兴产业的跨越发展是当前和未来一段时间我国的重大战略需求。这些重大需求归结到一个共同的关键科学问题就是复杂感知数据的高效处理与语义理解。从面向公共安全的角度讲，就是要将海量庞杂、异质多源、大范围时空关联的社会感知数据化繁为简，高效地提炼出满足公共安全需求的、人可理解并利用的信息情报和知识资源，从而有效服务于社会公共安全态势的实时监控、预警预报和应急处理。 社会感知数据的复杂性源自社会感知网络的复杂性。社会感知网络是一个复杂的巨系统，其复杂性主要体现在以下几个方面：（1）感知节点泛在分布。物理空间上亿级的视频监控终端和网络空间百亿级的计算机、智能手机等共同构成了一个庞大分布式的泛在社会感知信息网络。（2）感知数据海量混杂。根据IDC的统计和预测，2009年全球数据量达到了0.8 ZB（1021字节），2020年将达到35 ZB。社会感知数据包括文本、图形、图像、视频、音频等相互关联的不同模态，且动态变化、真伪混杂。（3）感知对象种类繁多。物理空间的感知对象主要包括场景、目标（人、车、物）、行为、人群密度、事件等；网络空间的感知对象包括网站、社区、论坛、博客、微博、话题倾向与传播情况、社会关系等。（4）感知主题跨越时空。社会态势感知需要围绕一个主题进行长期跟踪，只有对跨时间、跨地域、跨物理空间和网络空间的感知信息进行关联聚合才能准确把握公共安全事件的来龙去脉。 人类社会同时存在于物理空间(Physical space)和网络空间(Cyber space)，这两个社会空间既相对独立又关联耦合。物理空间的视频监控主要体现社会大众的“行”，感知数据复杂性主要体现在分布式摄像机网络视觉感知数据的跨场景特性；而网络空间的社会媒体更多反映网民群体的“言”，感知数据复杂性主要体现在网络数据的跨媒体（文本、图像、视频、音频等）属性；从大尺度观测人类社会，感知数据具有跨物理与网络空间的复杂性。社会感知数据的上述“三跨”特性（即跨场景、跨媒体和跨空间）决定了社会感知数据高效处理与语义理解的复杂性、挑战性和前沿性。因此本项目的关键科学问题“复杂感知数据的高效处理和语义理解”可以进一步分解为以下三个更为直接、紧密关联的关键科学问题。 （1）跨场景复杂视觉数据的分析与理解 视觉感知是获取物理社会公共安全态势信息的最主要通道。全国各地为建设“平安城市”部署了数千万级的视频监控终端，构建了描述人们在物理空间社会活动的视觉传感网或视联网(IoV, Internet of Vision)。海量视觉数据的及时处理和有效利用已成为公共安全领域的重大技术瓶颈，其中的关键科学问题就是跨场景复杂视觉数据的分析与理解，即从大范围监控区域分布式摄像机网络的跨时空视觉感知数据中提炼出与公共安全主题密切关联的物理场景、目标（包括人、车、物）、行为、事件、社会关系等语义信息，并实现大范围视觉监控区域的整体感知与理解。不仅需要解决传统视频监控的5W问题——“Who? When? Where? What? Why?”，突破传统计算机视觉算法的精确性、鲁棒性、高效性问题，而且需要解决覆盖大范围监控场景摄像机网络的协同以及大范围视觉监控区域的整体感知与理解问题，包括面向公共安全监控任务的自组织主动视觉感知网络，跨摄像机、多视角时空关联视频数据的感知聚合，深度挖掘社会关系网络、群体行为交互模式，连续跟踪报道公共安全事件的实时进展和来龙去脉，提炼战略级的公共安全视觉监控情报，实现大范围物理社会公共安全态势评估和预警。 （2）跨媒体复杂网络数据的分析与理解 网络空间中社会感知数据总体上具有开放性、时效性、互动性、匿名化、群体化、跨媒体、非结构化等特点。随着博客、微博、社交网站的流行以及多媒体终端设备包括网络音视频摄像头、数码相机、数码摄像机、智能手机的日益普及，人们可以很方便地在网络发表文字、图像、图形、视频、语音并茂的社会媒体，因此跨媒体成为网络数据复杂性的一个典型特征。赋予机器类似人类认知系统的跨媒体统一感知能力是智能信息处理的一个核心和热点科学问题，其中的关键问题是要将纷繁庞杂的跨媒体网络感知数据映射到高层语义空间实现统一的内容理解和信息聚合，自动捕捉苗头性、敏感性、倾向性的网络舆情信息，发现突发事件、预测发展态势，实现公共安全隐患的预警预报。 （3）跨物理与网络空间感知数据的协同计算与理解 网络空间作为人类社会生存空间在信息化、网络化时代的扩展与延伸，与物理存在的人类传统社会空间紧密关联、互为补充、互相影响。以社会感知为目标，物理空间获取的更多是人们的“行”，而网络空间感知的更多是大众的“言”。言行合一、言行互补，因此只有察言观行、两者协同，才能更深入、更全面、更准确、更可靠地获取公共安全态势情报。但是问题的关键是物理与网络空间的社会感知数据在感知手段、感知对象、感知内容、数据可信度、时空演化特性等方面都具有显著差异性，如何围绕公共安全态势感知这一共同目标实现二元空间复杂感知数据的协同分析和聚合理解，而不是简单的信息融合，是跨二元空间大尺度社会感知所面临的最大科学挑战。 2. 主要研究内容 围绕以上所述的三个关键科学问题，本着“有限目标，突出重点”的原则，本项目拟从三个层次开展研究：社会感知数据处理的基础理论、社会感知数据的计算与理解、社会感知数据处理的集成与验证。其中，第一个层次的研究是整个项目的基础，其结果可望为第二个层次的计算模型与方法研究提供基础理论和方法论上的指导；第二个层次的研究是关键，其结果可望为面向公共安全的社会感知数据处理的实际应用提供方法和算法的储备；第三个层次的研究是平台，旨在为第二个层次提出的关键计算模型和方法建立瞄准公共安全重大应用的验证环境和数据平台。第一个层次的研究内容包括社会感知数据处理的认知基础与计算理论；第二个层次的研究内容包括物理空间感知数据的计算与理解、网络空间感知数据的计算与理解以及物理与网络空间的协同感知；第三个层次的研究内容包括社会感知数据处理的公共平台与验证系统。这五个方面的研究内容既有围绕上述三个关键科学问题的共性基础性（第一个层次）和集成验证性（第三个层次）工作，也有围绕这三个关键科学问题的针对性工作（第二个层次）。现将这五个方面的研究内容简要阐述如下。 （1）社会感知数据处理的认知基础与计算理论 社会感知数据处理的共性问题是海量动态跨媒体数据的高效处理与语义理解，研究人对社会感知信息的认知机制及对跨媒体数据高效处理的计算理论与算法，对整个项目的研究具有基础性的作用。主要内容包括： 1 社会感知数据的认知特征及其整合机制。探索文本、图像、视频等跨媒体、多模态数据的人脑认知加工机制，包括场景中的文字内容的认知理解，视听觉信息的认知整合，短期感知记忆对人脑多感官语义整合的影响，视觉皮层中物体表示及听觉信息处理的神经机制等。 2 多源异构数据的测度学习理论。多源异构性是海量跨媒体社会感知数据的主要特点之一，研究多源异构数据的测度表示和学习是实现社会感知数据高效准确处理的基础性问题之一。具体内容包括多源异构数据的关联机制、自适应关联模型和统一表示，多源异构数据距离测度学习方法，社会感知数据到高层语义空间的多层次、多粒度映射关系，针对海量数据处理的近似或快速计算方法等。 3 社会感知数据的结构表示与学习理论。研究结构表示和学习预测模型可以更好地利用社会感知数据固有的内在结构（比如互补、冗余、因果关系等）。具体内容包括社会感知数据的结构化表示，基于时空变化的动态鲁棒结构学习，多源异构数据的结构关联与结构融合，多任务场景下的协同学习方法和高效的优化推理算法等。 4 社会感知数据处理的知识表示、获取与度量理论与方法。主要解决社会感知数据中的实体（人、车、物）、场景、行为、关系、事件等对象的知识描述、抽取和知识利用问题，实现领域知识的深度利用。具体内容包括：社会感知领域知识的多层次、多粒度知识表示框架与表示方法，社会感知数据中的自动知识获取方法，基于大规模知识框架的信息度量理论与方法等。 （2）物理空间感知数据的计算与理解 充分利用物理空间泛在的视联网资源，实现社会公共安全主题中场景、目标、行为、事件、关系等语义内容的自组织主动感知和跨摄像机场景分析、事件态势分析与社会关系分析，是社会信息感知和安全监控的重要组成部分。主要内容包括： 1 多摄像机网络自组织视觉感知。利用泛在分布式摄像机网络节点之间的关联，研究动态自组织视觉感知联盟，通过摄像机终端的局部视觉感知和知识引导，自动搜索和选择感知节点集合构建自组织的视觉监控网络，并利用该网络的统计特性来推知运动目标的意图，实现自组织监控的目的。 2 多摄像机大范围动态场景建模与理解。本研究的目标是有效提取关联公共安全事件的场景、目标和行为、事件等高层语义信息，具体内容包括：面向大范围动态场景的高精度三维重建，运动目标的跨摄像机、多视角检测与跟踪，结合场景动态建模和多目标跟踪的大范围动态场景高层语义理解与融合，面向大范围动态场景理解的图语法学习和因果推理算法等。 3 泛在视觉感知环境下的群体行为分析。研究泛在视觉感知环境下的聚集群体发现、人群规模和密度估计，人群属性（性别、年龄分布）、行为（情绪、动作、手持物、行进速度）和标语文字内容识别，群体交互和行为特征的表达和建模方法、群体行为类型识别方法，大规模群体事件的检测和识别方法等。 4 基于分布式视频监控数据的社会网络分析。研究物理空间视频监控数据中敏感人物和车辆的识别和跨场景跟踪，敏感人群行为关系的类型、强度和动态更新过程建模，敏感人物的社会关系网挖掘和危险行为预警。 （3）网络空间感知数据的计算与理解 网络空间大量话题和事件的突发性涌现会产生巨大的社会影响，本项目通过对网络跨媒体数据的分析与计算，自动捕捉关系公共安全的苗头性、敏感性、倾向性的网络舆情信息，及时发现关系社会公共安全的问题、群体、关系、事件等语义信息。主要内容包括： 1 网络空间社会感知数据的主动获取。研究面向新闻、论坛、博客、微博、社交网络等多通道网络信息的主动采集技术，Deep Web动态网页的采集与解析还原技术，网页结构化特征抽取技术，面向海量多通道网络信息的分布式、可扩展的高性能获取体系架构。 2 网络空间突发事件发现与演化分析。研究海量信息的快速话题发现和增量更新方法，基于时域分析的网络空间突发事件发现方法，网络信息交流的动力学扩散特性、传播机制和事件源头发现，事件的多视角、多尺度演化规律和发展趋势预测模型。 3 跨媒体网络数据的倾向性分析。从不同媒体数据（包括文本、图像、视频等）中提取表达倾向性的特征，研究面向网络空间感知的观点信息结构化表示模型，分析倾向性的主客观性和领域差异性，研究跨领域倾向性分析，多立场、多视角倾向性分析，观点信息的时域、空域动态变化趋势等。 4 网络空间的复杂群体关系挖掘。研究不同视角的异构关系特征提取方法和融合计算模型；研究社区结构的显著性度量方法，发现重叠的、能够反映消息动态传播聚集性质的社区结构；研究基于多尺度异构关系的网络群体发现方法；分析网络空间中对象之间的多元异构关联关系，识别特定群体的核心对象。 （4）物理与网络空间的协同感知 社会公共安全态势和事件线索往往同时存在于物理空间和网络空间，并且在二元空间中相互影响。因此，研究二元空间协同互动感知机制，实现二元空间协同的实体和社会群体发掘与关系分析、公共安全事件跨时空全局态势分析与预测，对准确监控、预警预报和应急处理公共安全事件是不可或缺的。主要内容包括： 1 物理空间与网络空间的复杂关联发现与建模。研究二元空间多媒体数据在语义表达上的共有性与互补性，建立跨媒体数据的语义关联；通过二元空间信息的实体与事件抽象及多层次关联特性，建立围绕特定目标或事件主题的跨时空信息关联模型。 2 物理空间与网络空间的协同互动感知机制。基于公共安全领域知识，建立二元空间协同互动感知的统一语义模型；探讨二元空间中实体对象或事件的信息属性、状态与角色的互发现机制，实现特定目标或语义主题相关的主动信息感知、发现与跟踪。 3 二元空间协同的社会群体发掘与关系分析。充分考虑物理空间中生物特征数据（人脸、虹膜、步态等）与网络空间中的用户行为数据（个人主页、照片、writeprint、社会关系等）的关联性与互补性，建立社会实体和关系的跨空间映射关系，实现二元空间实体和社会关系的互发现、协同识别与验证。 4 基于二元空间协同的全局态势分析与预测。研究跨空间社会感知数据的语义集成方法，建立以实体—关系—事件为核心的语义描述体系；研究二元空间信息协同的全局态势评估与预测模型，对重要安全事件在二元空间中的演化过程进行全局性建模与评判，对异常态势进行预警。 （5）社会感知数据处理的公共平台与验证系统 前面四部分的研究内容分别从不同角度对社会感知数据处理的理论方法进行研究，需要实验数据与测评 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 、人机交互可视界面等共性技术资源平台的有力支撑，同时面向公共安全应用对项目成果进行集成和验证。主要内容包括： 1 社会感知数据资源平台与测评标准体系建设。建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享，并制定社会感知数据处理性能测评认证的指标体系和技术标准。 2 社会公共安全态势的可视化。面向公共安全决策支持需求，研究大尺度（跨场景、跨媒体和跨空间）海量社会感知数据的可视融合方法，在可视交互界面动态集成物理和网络空间的安全态势信息，并通过智能可视分析在二元协同感知层次挖掘和提炼多粒度、多视角的可视化公共安全情报。 3 面向公共安全的社会感知验证系统。面向我国公共安全的实际需求，集成本项目的研究成果，选择一个城市区域或特殊场所建设跨物理空间和网络空间的大尺度社会感知验证系统，通过物理空间中固定探头和移动探头生成的实时视频流和网络空间的动态跨媒体数据，对城市或特定区域的社会安全态势进行协同监控和预警。 4 社会感知数据处理发展战略。作为本项目的总体组，研究社会感知数据处理的发展战略，把握学科发展方向，通过顶层 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 有序协调组织各课题组的研究工作，确保科学合理的项目实施 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 。 二、预期目标 本项目的总体目标： 面向我国公共安全实时监控与应急处理的重大现实需求，瞄准智能信息处理的学科前沿，以物理空间和网络空间的社会感知数据（包括海量视觉数据、多模态生物特征信息和海量网络非结构化数据）为研究对象，以建立复杂感知数据高效处理的理论与方法为科学目标，深入系统研究复杂感知数据处理的认知机理和计算理论、跨场景复杂视觉数据的计算与理解、跨媒体复杂网络数据的计算与理解以及跨物理与网络空间感知数据的协同计算与理解等关键问题并取得突破，从而将复杂的社会感知数据化繁为简，高效地提炼出满足公共安全需求的、人可理解并利用的情报和知识，提升我国在智能信息处理领域的国际学术地位和影响力，为国家公共安全的实时监控、预警预报与应急处理提供理论基础和技术储备，服务我国社会的科学化管理。 本项目的具体预期目标： · 服务国家需求。通过本项目的实施，我们预期为提高我国的社会感知数据有效利用和公共安全的实时监控、预警预报能力提供更加坚实的理论基础与技术储备。预计将建成一个社会感知数据处理的示范平台，并将有2－3项研究成果得到转化和实际应用，满足国家公共安全领域的一些紧迫现实需求。 · 发展创新理论。通过本项目的实施，我们预期在社会感知数据智能处理的若干方向上提出和发展具有重大创新意义和国际影响的理论和方法。预期在社会感知数据处理的认知机理和计算理论、跨场景视觉计算、跨媒体语义计算与融合、基于多媒体数据分析的网络内容挖掘、物理与网络空间的协同感知等方面取得重要进展与突破，建立原创理论与方法。本项目五年预计发表论文500篇以上（其中SCI刊物论文120篇以上），出版专编著10部以上。其中发表在感知信息智能处理领域国际顶级刊物（如IEEE Trans. PAMI, Int. J. Computer Vision, IEEE Trans. Image Processing, IEEE Trans. Multimedia, ACM Trans. on Multimedia Computing, Communications and Applications等）和顶级会议（如CVPR, ICCV, ACM Multimedia, SIGKDD, ICDM等）的论文150篇以上。 · 突破关键技术。通过本项目的实施，我们预期不断实现基础研究成果向关键技术、进而向实际应用的转移。预期在图像目标检测与识别、运动目标行为分析和群体行为分析、视觉场景识别、远距离生物特征识别、网络话题分析和事件检测、社会关系挖掘、物理空间与网络空间的的态势分析与安全监控等关键技术方面取得突破。预计申请和获准专利50项以上，包括10项以上国际专利。 · 建设数据资源。通过本项目的实施，我们将建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享，同时制定大尺度时空范围社会感知数据处理性能测评认证的指标体系和技术标准。这些数据资源和标准将提升我国在本学科领域研究的起点和国际竞争力。 · 培养优秀人才。通过本项目的实施，我们预期在社会感知数据处理领域，培养、建设与稳定一支在国际上有显著地位、能推动我国本学科领域发展的优秀科研队伍。预计培养各类人才不少于300人（其中博士后约20人、博士约150人，硕士约100人，优秀中青年人才约30人）。与此同时，我们希望通过本项目的实施，进一步加强承担本项目的3个重点实验室与2个国际合作联合实验室的建设，从而把完成国家重大科研任务与培养优秀人才和建设科研创新基地有机地结合起来，最大限度地发挥国家有限科研经费资源的效能。 三、研究 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 1. 总体研究思路 以认知科学和计算机科学（计算机视觉、模式识别和机器学习）等相关领域的研究成果为基础，以物理空间和网络空间的社会感知数据为研究对象，以建立复杂感知数据高效处理和语义理解的理论与方法为科学目标，分别从三个层次，围绕三个关键科学问题，开展五个方面的研究。如前所述，三个层次是①社会感知数据处理的基础理论、②社会感知数据的计算与理解、③社会感知数据处理的集成与验证；三个关键科学问题是①跨场景复杂视觉数据的分析与理解、②跨媒体复杂网络数据的分析与理解、③跨物理与网络空间感知数据的协同计算与理解；五个方面的主要研究内容是①社会感知数据处理的认知机理与计算理论、②物理空间感知数据的计算与理解、③网络空间感知数据的计算与理解、④物理与网络空间的协同感知、⑤社会感知数据处理的公共平台和验证系统。其中，第1个和第5个研究内容分别属于第一层次和第三层次；第2～4个研究内容属于第二层次，分别对应三个关键科学问题。 本项目将建立一个公共数据获取和技术集成平台。五个方面的研究将采用相互关联的跨空间、跨媒体、多模态社会感知数据围绕共同的公共安全需求开展理论和实验研究。不同研究内容之间有数据、方法和技术方面的协作，核心技术将在公共的集成验证平台上进行验证。 围绕项目的三个关键科学问题、五个方面的主要研究内容和总体研究目标，本项目的研究过程中将贯彻以下几个重要的学术思想： · 需求驱动：在智能信息处理中，人的注意点和应用领域需求对数据的处理和有用信息的提取起着重要的引导作用。本项目的社会感知数据处理面向公共安全监控和预警的国家重大需求，因此必须充分考虑公共安全监控的任务驱动和先验知识的有效利用。 · 因地制宜：即数据驱动，泛在感知环境下的社会感知数据具有多源异构、海量庞杂、内容多样、时空跨越的特点。研究社会感知数据的智能处理和有效利用必须充分考虑这些特点、利用这些特点，从而有针对性地建立模型和方法。 · 机理引导：人类自身的视觉感知和跨媒体感知能力远远强于机器的感知能力，因此应当深入探索人类跨媒体感知的认知机理，以指导社会感知数据智能处理计算模型与方法的研究。这既是国际学科发展的趋势，也是在计算模型与方法上开展创新研究的有效途径。 · 多向交互：跨场景（跨摄像机）视觉计算既是社会感知的挑战性问题，也是计算机视觉领域研究的前沿。计算过程既有自下而上的特征提取和组合，也有自上而下的知识引导，还有周边关联的信息交互。因此本项目拟充分利用摄像机网络与视觉环境的交互和视觉环境中的公共安全主题先验知识，以增强跨摄像机视觉信息智能处理方法的鲁棒性并克服传统视觉计算理论的一些重大缺陷（如Marr 的视觉计算理论）。 · 协同感知：物理空间和网络空间感知信息协同是一个新的研究方向。对跨空间的复杂社会感知数据处理难以找到通用的方法。因此，我们以公共安全监控任务为切入点，以典型的公共安全事件的发生和演化为主线，利用历史事件的数据建立二元空间事件的演化和交互模型，实现二元空间的互动感知和对未来公共安全事件的预测预警。 上述学术思想是我们多年来从事智能信息处理研究（特别是视觉信息处理和非结构化网络数据分析）的心得，也是我们结合本项目的关键科学问题和主要研究内容深入思考的结果。总体上讲，既有继承，也有创新。 2. 技术路线 在基础理论层次，围绕跨媒体感知的认知机理和跨媒体数据的统一表达与机器学习这一共性基础问题，将从认知心理学和神经科学角度研究跨媒体感知的数据获取效用和脑机制，并在认知机理和计算机科学相关研究成果基础上研究面向公共安全的社会感知数据建模和学习方法以及针对海量数据处理的高效算法。在认知机理方面，通过认知心理学实验，研究文本、图片、视频等媒体形式及不同组合方式和时序关系对于人们信息获取效用的影响和情感调制作用；通过fMRI影像分析，研究人脑处理图像和视频时不同空间和时间结构下的认知规律和机理。在多源异构数据的测度学习方面，采用隐子空间方法，将多源异构社会感知数据和高层语义特征，利用学习不同的映射方式投影到统一的子空间。在结构学习方面，依据高维空间稀疏学习和非参数化贝叶斯方法提出一套关于社会感知数据的结构学习的方法和理论，自动学习统计模型的结构；基于时空变化的动态鲁棒结构学习，研究具有“热启动”的鲁棒的增量学习方法。在知识表示、获取与度量方面，充分利用已有的丰富互联网资源，探索这些资源中知识表示的基本单位和基本关系类型。采取统计与规则相结合的方法，开发自动的语义概念和属性识别、关系抽取、网络构建方法，以此作为支撑工具以构建大规模的知识库。 在社会感知数据的计算与理解层次，围绕跨场景复杂视觉数据的分析与理解、跨媒体复杂网络数据的分析与理解、跨物理与网络空间感知数据的协同计算与理解三个关键科学问题，分别研究面向公共安全重大应用的数据高效处理和语义理解的方法与算法。 在跨场景复杂视觉数据的分析与理解方面，通过运动轨迹聚类自适应学习摄像机网络的拓扑结构和连接关系以及运动目标在各场景之间的转移模型，基于摄像机网络先验知识和动态的监控任务需求，采用高阶约束的图模型推理快速优化算法搜索和构建视觉感知网络；用贝叶斯推理框架统一自下而上的图像特征组合和自上而下的知识引导，对跨场景的运动目标进行识别和连续跟踪；结合区域自相关性和互相关性的特征提取与匹配技术、融入先验知识的高阶能量函数优化方法实现大范围场景的三维重建；结合局部特征、纹理特征和空间上下文对人群属性和行为进行分类；结合视觉显著性特征分析和图模型机器学习对场景中的标语文字进行检测和识别；用句法规则对时空图像序列中的行为模式进行表达，以随机句法为桥梁实现个体和群体行为的高层语义理解；针对大场景的整体理解，在场景三维建模和多目标跟踪的基础上，用层次结构图语法表示大范围监控场景中不同区域的语义和时空关联性，通过图语法自动学习和因果推理实现对动态大场景的高层语义理解和语义融合，从而实现对跨时空事件的检测与识别。 在跨媒体复杂网络数据的分析与理解方面，首先在信息源、页面、内容等多个层级采用增量化获取和优化调度策略提高网络感知数据获取的效率；通过过滤噪音信息然后提取时序突发（Burst Word）特征检测局部突发话题，合并关联话题形成全局突发事件；提出多维度的事件关联和差异计算方法，实现网络事件的传播关系分析和时空追踪；基于动力学理论分析网络信息的时序关联和动态演化规律，针对公共安全监测的实际需求建立预测模型，分析网络事件未来发展趋势；从多媒体数据提取表示大众观点和情感倾向的多视角特征，采用基于随机游走模型和图排序模型的半监督学习方法，实现跨领域的倾向性分析；使用网络压缩编码理论，提出基于网络结构关系最优压缩表示的新型群体关系度量方法，对多关系显著性进行度量。 在跨物理与网络空间感知数据的协同计算与理解方面，针对二元空间信息的跨时空关联特性，通过二元空间信息的实体与事件抽象，探讨以实体-事件为核心的关联结构中关系类别与动态变化，建立围绕特定目标或事件主题的跨时空信息关联；利用序列关联、交叉关联以及协同学习等技术，实现实体对象、行为与关系在二元空间中信息属性、状态和功能角色的互发现、语义互操作的协同互动感知机制；结合矩阵、张量和图等数据结构，建立在二元空间中反映同一实体对象的各种属性之间的关联关系，实现社会实体及其所在群体之间的互发现机制，进而对二元协同的社会网络进行挖掘；基于动力学理论分析各类感知信息的时序关联和动态演化规律，建立适当的统计量化指标和统计学习模型，对重要事件的成长过程进行全局性的建模与评判，对异常态势进行预警。 为了实现上述方法的建模，拟采用过去重大安全事件（如美国"9.11"恐怖袭击事件、伦敦暴力骚乱事件、西藏拉萨3-14打砸抢烧事件、新疆“7.5”打砸抢烧严重暴力犯罪事件等）的历史数据（包括视频数据、网上关于事件来龙去脉的事实和评论数据等）并采集模拟敏感事件和人物活动的社会感知数据，利用机器学习和数据挖掘方法建立统计模型和知识库。 在社会感知数据处理的集成与验证层次，建立支撑整个项目研究的公共数据资源平台和测评标准体系并向国际学术界免费共享，研究社会公共安全态势的时空立体可视化方法并建立社会公共安全感知验证系统。在数据资源建设方面，考虑在物理空间试点一个城市或特殊场所的安全敏感区域，部署100个以上的安全监测终端（包括在公路、商业街、银行、车站、社区的固定探头和地铁、公交、巡逻车上的移动探头），建设大范围监控场景的跨摄像机实时监控实验平台，采集海量规模的多通道真实视频数据流作为实验数据库；在网络空间通过爬虫技术采集论坛、博客、微博等网站的实际跨媒体数据作为社会舆情分析的实验数据库，并通过物理和网络空间感知数据库的关联性设计为二元空间协同感知研究提供数据基础。在可视化方面，构建多尺度社会感知数据呈现的语义金字塔模型，提供类似于GoogleEarth的由粗到精的可视化决策支持界面。通过海量公共安全情报的语义聚合形成最高层的全局性安全态势图，同时面向公共安全主题有序组织关联情报线索，通过时空演进的可视化模式描述重大安全事件的来龙去脉。 3. 创新点 与国内外类似研究相比，本项目学术思想、研究方案与技术路线的创新点和特色主要体现在： · 二元协同感知：物理空间和网络空间的协同感知鲜有研究，更没有形成系统性的理论和方法体系。本项目统一物理空间和网络空间的社会感知数据进行社会公共安全态势分析与监控，并对相关的感知数据分析与理解、跨空间的信息协同与互动机制及全局态势评估与预测进行全面深入的理论方法研究，在研究体系上具有鲜明的特色。 · 鲁棒结构学习：在跨媒体数据的统一表达和机器学习方面，不同于传统跨媒体研究中忽略了数据之间的结构信息，我们提出基于鲁棒结构学习的海量跨媒体感知学习理论和方法。同时，考虑社会感知数据的动态特性，提出面向跨媒体数据序列分析与预测的动态鲁棒结构学习理论与方法。 · 主动视觉组网：应对大范围和动态变化安全监控任务需求，本项目提出具有自主智能的自组织、主动式的视觉感知网络，针对安全监控任务需求自适应组织局域视觉感知节点形成动态感知联盟，使动态的监控任务和泛在的摄像头资源之间形成有序对接，这从根本上有别于传统的多摄像机视觉监控，有望提高分布式摄像头网络的利用效率和监控效果。 · 场景语义识别：基于分布式摄像机网络的多摄像机场景分析与关联，跨摄像机目标检测、识别与跟踪，群体属性和行为分析，场景中的文字内容识别，以及基于多摄像机监控目标、行为、群体和文字内容的事件检测与识别对公共安全监控具有重要意义，也是本项目不同于以往研究的一个创新点。 · 多源特征分析：在网络数据倾向性分析和事件检测方面，我们充分利用跨媒体感知数据从多视角提取面向公共安全需求的特征：从文本、图形符号、图像、视频等多媒体数据中提取包括时间、地点、人物、时序、关系等方面的特征，从而提高话题倾向和事件检测的可靠性。与当前主要依赖文本数据的方法相比，本项目的思想具有创新性。 · 时空全局融合：本项目对二元空间的协同感知从公共安全重要事件监测任务出发，从二元空间的特征、实体、行为和关系的关联与语义互操作、互发现机制，事件的协同演化到事件的大范围时空全局态势分析与预测开展系统的理论与方法研究，实现二元空间协同的身份、群体和社会关系发现与验证以及公共安全事件的大范围时空全局态势分析与预警。这些也是本项目在技术途径上的一大特点。 4. 可行性分析 对本项目拟定的研究目标、研究内容、研究方案和技术途径我们都有过深入细致的研讨与思考，我们觉得总体上是合理可行的。下面从基础设施、研究基础、研究队伍、工作条件等几个方面做些进一步的分析。 首先，我国互联网基础设施比较完备，中国网民规模已经达到4.57亿（2010年底），网上门户网站、论坛、博客、微博等已成为社会信息传播的主要媒体。为了建设“平安城市”，我国在各地装备了数千万的监控摄像头，这为基于摄像头网络的大范围社会数据感知和公共安全监控提供了良好的物质基础。 研究基础方面，我国在视觉计算、网络数据挖掘、机器学习等相关领域的基础研究和技术创新水平离国际前沿越来越接近，尤其在视觉目标识别、行为分析和文字识别、生物特征识别、网络搜索引擎和大规模网络数据挖掘的数据积累和计算平台方面已有很好的基础。本项目的研究骨干包括中国科学院和清华大学从事计算机视觉、模式识别和网络数据挖掘的优秀人才，他们的研究成果在本学科领域内的国际顶级刊物（如IEEE Trans. PAMI, Int. J. Computer Vision, IEEE Trans. Multimedia等）和顶级会议（如CVPR, ICCV, ACM Multimedia, SIGKDD）上发表并产生了广泛的学术影响。在部分方向，他们的工作处于国际领先地位（如视觉计算理论、图像目标检测、生物特征识别、文字图像识别、大规模文本挖掘等）。他们研究开发的智能视频监控、生物特征识别和网络数据挖掘技术在国家和公共安全领域已经得到实际应用并发挥了重要作用。本项目组的主要成员连续参与或主持了十五和十一五期间的973计划项目（如主持了十一五期间的973项目“数字内容理解的理论与方法”），在项目的组织、管理和科研协调方面具有丰富的经验。本项目的研究依托模式识别国家重点实验室、清华信息科学与技术国家实验室、中科院计算所网络内容安全技术国家工程实验室等重点研究机构，有着良好的学术氛围、科研环境、数据资源和国内外学术联系。 本项目以物理空间和网络空间的社会感知数据为研究对象，以建立复杂感知数据高效处理的理论与方法为科学目标，分别从三个层次，围绕三个关键科学问题，研究五个方面的主要内容。相关课题的技术方案建立在充分调研和技术储备的基础上，具有较好的可行性。 5. 课题设置 围绕项目的总体目标、三个关键科学问题和主要研究内容，按照“总体研究思路”部分所阐述的学术思想、研究方案和技术路线，我们拟按社会感知数据处理的基础理论、社会感知数据的计算与理解、社会感知数据处理的集成与验证三个层次设置五个课题。其中基础理论层次的一个课题主要围绕跨媒体社会感知数据的认知机理和计算理论这个共性基础问题展开研究；计算与理解层次的三个课题分别围绕跨场景复杂视觉数据的分析与理解、跨媒体复杂网络数据的分析与理解、跨物理与网络空间感知数据的协同计算与理解这三个关键科学问题展开研究；集成与验证层次的一个课题主要为整个项目研究提供数据资源和实验平台，并集成相关技术建立示范验证平台。 五个课题间的联系见图1所示。课题1为本项目的社会感知数据处理提供共性理论基础，为其他四个课题提供理论和方法指导。课题2主要研究物理空间感知数据分析与理解的方法和算法，课题3主要研究网络空间感知数据分析与理解的方法和算法。课题4主要研究物理空间和网络空间感知数据的协同处理，为本项目的应用目标——公共安全监控，提供全面的态势评估方法。课题4要用到课题2和课题3的算法或中间结果。同时，前面四个课题的算法在课题5中集成完成社会感知数据处理和安全监控预警的验证与可视化。另一方面，课题5为前面四个课题的研究提供数据资源和实验平台。因此，这五个课题无论从逻辑关系还是研究内容上都是高度关联，构成有机一体。 图1. 五个课题间的联系 课题1：社会感知数据处理的基础理论 研究目标：为社会感知数据的高效处理、语义理解与融合提供认知机理与计算理论基础，提出文本、图像、视频等跨媒体多模态感知数据的统一表达模型与度量方法，面向动态跨媒体社会感知数据处理的机器学习理论与方法以及面向公共安全的知识表示与建模方法。 研究内容： 1 社会感知数据的认知特征及其整合机制。探索跨媒体多模态数据的人脑认知加工机制，包括场景中的文字内容的认知理解，视听觉信息的认知整合，短期感知记忆对人脑多感官语义整合的影响，视觉皮层中物体表示及听觉信息处理的神经机制等。 2 多源异构数据的测度学习理论。研究多源异构数据的关联机制、自适应关联模型和统一表示，多源异构数据距离测度学习方法，社会感知数据到高层语义空间的多层次、多粒度映射关系，针对海量数据处理的近似或快速计算方法等。 3 社会感知数据的结构表示与学习理论。研究社会感知数据的结构化表示，基于时空变化的动态鲁棒结构学习，多源异构数据的结构关联与结构融合，多任务场景下的协同学习方法和高效的优化推理算法等。 4 社会感知数据处理的知识表示、获取与度量理论与方法。研究社会感知领域知识的多层次、多粒度知识表示框架与表示方法，社会感知数据中的自动知识获取方法，基于大规模知识框架的信息度量理论与方法等。 承担单位：清华大学、中国科学院自动化研究所 课题负责人：朱小燕 经费比例：20% 课题2：物理空间感知数据的计算与理解 研究目标：充分利用物理空间泛在的摄像机网络资源，实现社会公共安全主题中场景、目标、行为、事件、关系等语义内容的自组织主动感知和跨摄像机场景分析、事件态势分析与社会关系分析，并将海量复杂的跨场景视觉感知数据约简为面向公共安全的情报与知识。 研究内容： 1 多摄像机网络自组织视觉感知。利用泛在分布式摄像机网络节点之间的关联，通过摄像机终端的局部视觉感知和知识引导，自动搜索和选择感知节点集合构建自组织的视觉监控网络，并利用该网络的统计特性来推知运动目标的意图。 2 多摄像机大范围动态场景建模与理解。研究面向大范围动态场景的高精度三维重建，运动目标的跨摄像机、多视角检测与跟踪，结合场景动态建模和多目标跟踪的大范围动态场景高层语义理解与融合，面向大范围动态场景理解的图语法学习和因果推理算法等。 3 泛在视觉感知环境下的群体行为分析。研究泛在视觉感知环境下的聚集群体发现、人群规模和密度估计，人群属性、行为和标语文字内容识别，群体交互和行为特征的表达和建模方法、群体行为类型识别方法，大规模群体事件的检测和识别方法等。 4 基于分布式视频监控数据的社会网络分析。研究物理空间视频监控数据中敏感人物和车辆的识别和跨场景跟踪，敏感人群行为关系的类型、强度和动态更新过程建模，敏感人物的社会关系网挖掘和危险行为预警。 承担单位：中国科学院自动获取研究所、北京邮电大学 课题负责人：刘成林 经费比例：18% 课题3：网络空间感知数据的计算与理解 研究目标：研究对海量多源异构的跨媒体复杂网络数据进行准确分析和计算的方法，面向社会公共安全从网络跨媒体数据自动捕捉关系公共安全的苗头性、敏感性、倾向性的网络舆情信息，及时发现关系社会公共安全的话题、群体、关系、事件等，并为物理空间的自组织主动视觉感知提供知识引导，将海量复杂的跨媒体网络感知数据约简为面向公共安全的情报与知识。 研究内容： 1 网络空间社会感知数据的主动获取。研究面向新闻、论坛、博客、微博、社交网络等多通道网络信息的主动采集技术，Deep Web动态网页的采集与解析还原技术，网页结构化特征抽取技术，面向海量多通道网络信息的分布式、可扩展的高性能获取体系架构。 2 网络空间突发事件发现与演化分析。研究海量信息的快速话题发现和增量更新方法，基于时域分析的网络空间突发事件发现方法，网络信息交流的动力学扩散特性、传播机制和事件源头发现，事件的多视角、多尺度演化规律和发展趋势预测模型。 3 跨媒体网络数据的倾向性分析。从不同媒体数据中提取表达倾向性的特征，研究面向网络空间感知的观点信息结构化表示模型，分析倾向性的主客观性和领域差异性，研究跨领域倾向性分析，多立场、多视角倾向性分析，观点信息的时域、空域动态变化趋势等。 4 网络空间的复杂群体关系挖掘。研究社区结构的显著性度量方法，发现重叠的、能够反映消息动态传播聚集性质的社区结构；研究基于多尺度异构关系的网络群体发现方法；分析网络空间中对象之间的多元异构关联关系，识别特定群体的核心对象。 承担单位：中国科学院计算技术研究所、中国科学院自动化研究所 课题负责人：陈一昕 经费比例：18% 课题4：物理与网络空间的协同感知 研究目标：社会公共安全态势和事件线索往往同时存在于物理空间和网络空间，并且在二元空间中相互影响。本课题旨在实现物理空间和网络空间的信息交互、协同与融合，建立二元空间协同感知、主动调制的立体化社会感知与预警模式，研究二元空间的复杂关联特征表征与协同互动感知机制，实现二元空间协同的实体和社会群体发掘与关联分析、公共安全事件跨时空全局态势分析与预测。 研究内容： 1 物理空间与网络空间的复杂关联发现与建模。研究二元空间多媒体数据在语义表达上的共有性与互补性，建立跨媒体数据的语义关联；通过二元空间信息的实体与事件抽象及多层次关联特性，建立围绕特定目标或事件主题的跨时空信息关联模型。 2 物理空间与网络空间的协同互动感知机制。基于公共安全领域知识，建立二元空间协同互动感知的统一语义模型；探讨二元空间中实体对象或事件的信息属性、状态与角色的互发现机制，实现特定目标或语义主题相关的主动信息感知、发现与跟踪。 3 二元空间协同的社会群体发掘与关系分析。充分考虑物理空间中生物特征数据与网络空间中的用户行为数据（个人主页、照片、writeprint、社会关系等）的关联性与互补性，建立社会实体和关系的跨空间映射关系，实现二元空间实体和社会关系的互发现、协同识别与验证。 4 基于二元空间协同的全局态势分析与预测。研究跨空间社会感知数据的语义集成方法，建立以实体—关系—事件为核心的语义描述体系；研究二元空间信息协同的全局态势评估与预测模型，对重要安全事件在二元空间中的演化过程进行全局性建模与评判，对异常态势进行预警。 承担单位：中国科学院自动化研究所、北京交通大学、南京邮电大学 课题负责人：徐常胜 经费比例：16% 课题5：社会感知数据处理的公共平台和验证系统 研究目标：本课题为前面四个课题的研究提供公共数据资源和实验平台支撑，面向公共安全应用研究人机交互可视界面技术，并在集成项目成果的基础上建设示范验证系统；同时，作为整个项目的总体组，研究社会感知数据处理的发展战略，把握学科发展方向，确保科学合理的项目实施计划。 研究内容： 1 社会感知数据资源平台与测评标准体系建设。建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享，并制定社会感知数据处理性能测评认证的指标体系和技术标准。 2 社会公共安全态势的可视化。面向公共安全决策支持需求，研究大尺度（跨场景、跨媒体和跨空间）海量社会感知数据的可视融合方法，并通过智能可视分析在二元协同感知层次挖掘和提炼多粒度、多视角的可视化公共安全情报。 3 面向公共安全的社会感知验证系统。集成本项目的研究成果，选择一个城市区域或特殊场所建设跨物理空间和网络空间的大尺度社会感知验证系统，通过物理空间中固定探头和移动探头生成的实时视频流和网络空间的动态跨媒体数据，对社会安全态势进行协同监控和预警。 4 社会感知数据处理发展战略。作为本项目的总体组，研究社会感知数据处理的发展战略，把握学科发展方向，通过顶层设计有序协调组织各课题组的研究工作，确保科学合理的项目实施计划。 承担单位：中国科学院自动化研究所、中国移动通信集团公司、香港科技大学、清华大学 课题负责人：谭铁牛 经费比例：28% 四、年度计划 研究内容 预期目标 第 一 年 1. 研究视听觉信息的认知整合机制; 2. 研究多源异构数据的关联机制、统一表示及测度学习; 3. 研究动态场景中的不变性特征提取匹配及多视点三维建模； 4. 研究视觉场景中人群发现属性分类和标语文字识别； 5. 研究多通道网络信息的主动采集方法和体系架构； 6. 研究网页结构化特征自动化抽取和观点信息过滤方法； 7. 研究二元空间中不同媒体数据联合语义建模； 8. 研究二元空间的复杂关系挖掘与发现； 9. 二元协同感知数据获取平台建设； 10. 社会感知发展战略研究及社会感知验证系统需求分析。 1. 揭示人脑对多感官视听觉信息的认知整合过程，建立生态不相关视听觉信息的认知整合模型； 2. 初步建立多源异构数据的统一表示的理论框架； 3. 提出适用于大场景的鲁棒不变性特征提取与匹配方法和高精度稠密重建方法； 4. 提出和实现人群发现、属性分类和标语文字快速定位与识别方法； 5. 提出和实现多通道网络信息的主动化采集方法； 6. 提出半监督的网页结构化特征抽取方法和观点信息过滤方法； 7. 建立多媒体信息融合的媒体对象语义分析模型和跨媒体数据的语义关联模型； 8. 建立异构媒体间信息传播模型，实现跨异质媒体的信息有效传递； 9. 建成大规模的社会感知数据资源平台，包括物理空间100路以上摄像机视频监控数据和网络空间1000个以上论坛、博客、微博的社会感知数据； 10. 制定社会感知数据处理学科的发展战略，顶层设计二元协同社会感知应用系统的技术架构。 第 二 年 1. 研究多模态静态和动态数据的融合理论和方法； 2. 融合现有知识表示框架的元素，提出一种新的知识表示体系； 3. 研究摄像机网络中运动轨迹聚类算法和运动目标跨摄像机跟踪； 4. 研究基于图像特征的敏感人物和车辆的识别与跟踪； 5. 研究面向网络空间感知的观点信息结构化表示模型和跨领域倾向性分析； 6. 研究海量信息的快速话题发现和增量更新方法及网络突发事件发现方法； 7. 研究二元空间协同互动感知特性与模型表达以及特定对象或事件的主动发现与互验证机制； 8. 分析与特定目标或语义主题相关的媒体信息感知与跟踪； 9. 大范围物理空间社会安全态势的可视化方法研究； 10. 跨场景物理空间社会感知数据处理的标准化研究； 1. 完成基于单个节点的多模态数据结构学习和融合的研究，提出提取关联特征和去除冗余的方法； 2. 实现知识表示体系的软件系统，得到原始数据资源库3个（每个超百万条记录）； 3. 实现摄像机网络活动节点的准确检测方法，提出跨摄像机的运动目标检测和持续跟踪方法； 4. 实现基于生物特征的敏感人物识别和基于车牌、车型的车辆识别与跟踪； 5. 提出基于概率图模型的倾向性观点结构化建模方法和鲁棒的跨领域文本倾向性分析方法； 6. 提出基于时域分析的网络突发话题检测方法； 7. 实现实体对象、行为与关系在二元空间中互发现、语义互操作的协同互动感知机制； 8. 建立围绕特定目标或事件主题的跨时空信息关联模型，实现主动信息感知、发现与跟踪； 9. 提出大范围物理世界安全态势可视化的新方法，实现可视化人机交互界面； 10. 提出跨场景物理空间社会感知处理的测评技术标准。 第 三 年 1. 研究短期感知记忆对人脑多感官语义整合的影响; 2. 研究社会感知数据到高层语义空间的多层次、多粒度关系映射； 3. 研究人与环境交互事件建模的图语法，群体交互行为建模与识别； 4. 研究大场景重建中的高阶能量函数优化方法和多目标、群体目标的检测方法； 5. 研究网络事件的动力学扩散特性和传播机制，观点信息的时域、空域动态变化趋势； 6. 研究多层次社区结构的显著性度量方法； 7. 研究二元空间中用户身份特征、行为的关联性与互补性； 8. 研究二元空间协同的社会群体发掘和社会关系； 9. 网络空间社会安全态势的可视化方法研究； 10. 网络空间社会感知数据处理的标准化研究。 1. 建立短期感知记忆对人脑多感官整合过程影响的模型； 2. 完成社会感知数据到语义特征之间的映射机理研究，实现多层次，多粒度映射机制； 3. 建立基于图语法的场景和交互行为识别框架； 4. 实现三维场景建模的高阶能量函数优化，解决多目标和群体目标的检测问题； 5. 提出网络事件的时序分析方法； 6. 提出多尺度异构关系度量和社区发现方法，实现多关系网络群体的有效检测； 7. 建立二元空间中用户行为的关联性模型； 8. 建立社会实体和关系的跨空间映射关系，实现二元空间实体和社会关系的互发现、协同识别与验证； 9. 实现跨媒体网络感知数据的融合可视分析； 10. 提出跨媒体网络空间社会感知数据处理的测评技术标准； 11. 组织整个973项目的中期总结研讨会。 第 四 年 1. 研究多任务场景下的协同学习和结构学习理论与方法； 2. 研究针对海量数据处理的近似或快速计算方法； 3. 研究多摄像机自组织网络整体数学模型； 4. 研究多目标和群体目标的跨摄像机接力跟踪和大规模群体性事件的检测； 5. 研究多粒度观点信息判别技术和跨媒体倾向性分析方法； 6. 研究二元空间对象之间的映射关系，识别群体内的核心对象； 7. 研究跨空间社会感知数据的语义集成方法； 8. 研究二元空间协同的全局态势分析与预测模型； 9. 研究二元空间协同感知数据的可视化方法； 10. 二元空间协同感知的标准化研究。 1. 提出多任务场景下的协同学习和结构学习方法; 2. 针对海量数据，完成测度学习和结构学习的大规模快速近似算法； 3. 实现多摄像机自组织网络原型系统； 4. 基于贝叶斯推理框架实现对跨场景群体目标接力跟踪；提出基于时空关联的大规模群体事件检测算法； 5. 提出和实现多粒度的观点倾向性分析方法； 6. 提出虚实结合的对象重要度计算方法，有效挖掘网络群体的核心角色； 7. 实现对二元空间事件集合的语义表达； 8. 建立二元空间协同的全局态势预测模型和二元空间协同感知的大规模验证数据库； 9. 提出和实现二元空间安全态势可视化的新方法； 10. 提出二元空间社会感知数据处理的测评技术标准。 第 五 年 1. 研究层次化的视听觉信息表示框架在物体识别、视频分析中的应用; 2. 构建面向公共安全的大规模知识库，开发基于新度量方法和资源的创新应用； 3. 研究视频场景表达的统一图语法模型和大范围动态场景高层语义理解； 4. 研究敏感人群社会关系网的建立和社团挖掘及危险行为的预警； 5. 研究用于事件检测的基于统一图语法的因果推理算法； 6. 研制面向网络空间的公共安全信息内容分析预警原型系统。 7. 研究二元空间异常态势评估和预警方法； 8. 建设面向公共安全的社会感知验证系统； 9. 结合我国公共安全领域的现实需求实现智能安防系统示范应用； 10. 完善社会感知数据处理的技术发展规划。 1. 揭示视觉多维信息在认知上是否存在主导特征； 2. 实现百万数量级的可共享公共安全领域知识库； 3. 建立1000个以上节点的统一图语法模型，实现对大范围动态场景的高层语义理解； 4. 实现基于跨场景语义理解和因果推理的大范围时空事件检测； 5. 提出物理空间社会关系网挖掘算法，实现基于二元空间协同语义模型的危险行为预警； 6. 提出多层次重叠社区发现方法，完成网络空间公共安全分析预警原型系统并进行推广使用； 7. 建立二元空间异常态势预警模型，实现核心算法的有效性验证； 8. 试点一个城市的安全敏感区域，实现大范围实时视频监控信息和网络新型社会媒体的协同社会感知； 9. 组织社会感知方面的学术会议或者论坛； 10. 组织整个973项目的总结研讨会。