基于时空图卷积网络的面部表情运动单元识别方法

(19)中华人民共和国国家知识产权局(12)发明专利 申请 关于撤销行政处分的申请关于工程延期监理费的申请报告关于减免管理费的申请关于减租申请书的范文关于解除警告处分的申请 (10)申请公布号CN112633153A(43)申请公布日2021.04.09(21)申请号202011528440.6(22)申请日2020.12.22(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人刘志磊　张庆阳　董威龙　陈浩阳　都景舜　(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人程小艳(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于时空图卷积网络的面部表情运动单元识别方法(57)摘要本发明公开了基于时空图卷积网络的面部表情运动单元识别方法，通过卷积自编码器对面部运动单元AU区域进行特征提取，然后根据AU时空关系密切程度构造AU序列的时空关系图，最后基于ST‑GCN进行AU识别。本发明应用一种基于时空图卷积网络来进行面部运动单元的识别，通过使用无向时空图模型对AU之间的时空依赖关系进行建模，并使用时空图卷积网络进行AU深度表示特征的学习，以提高AU识别的准确率。本发明可以有效解决AU检测模型鲁棒性差、准确率低等问题，能够被广泛应用于表情分析、情感计算、人机交互应用。CN112633153ACN112633153A权　利　要　求　书1/2页1.基于时空图卷积网络的面部表情运动单元识别方法，其特征在于,通过卷积自编码器对面部运动单元AU区域进行特征提取，然后根据AU时空关系密切程度构造AU序列的时空关系图，最后基于ST‑GCN进行AU识别。2.根据权利要求1所述的基于时空图卷积网络的面部表情运动单元识别方法，其特征在于,具体步骤如下：1)通过自编码器对AU局部区域进行特征提取：对图像帧序列中的每一帧图像基于面部关键点信息获取各个AU的中心位置，根据AU中心位置划分出n*n大小的区域作为对应AU所在的局部区域；将所有AU所在局部区域输入每个AU特定的自编码器进行编码，从而获取到d0维充分包含AU信息的深度表示；2)构建AU序列的无向时空关系图，从而对AU之间的时空关系进行建模：AU时空关系图中的每一个节点由1)中提取到的一个AU的深度表示向量构成，AU关系图中的节点根据相互之间联系的密切程度进行连接；①空间关系构建：通过统计训练集中AU的共现概率，构造关系矩阵M表示AU之间关联的密切程度，设置阈值h，将关联密切程度大于h的AU进行连接，从而对AU在空间上的邻接关系进行建模；②时间关系构建：设置时间阈值τ，将图像帧序列中时间间隔不超过τ个图像帧且属于同一个AU的节点进行连接，从而对AU节点在时间上的关系进行建模；3)基于ST‑GCN时空图卷积模型进行AU识别：使用ST‑GCN在2)中构建的AU序列时空关系图上进行多次图卷积操作，得到包含空间和时间信息的深度AU特征表示，通过全连接神经网络对深度AU特征表示进行分类，得到AU的识别结果。3.根据权利要求2所述的时空图卷积网络的面部表情运动单元识别方法，其特征在于，步骤1)具体地，对输入的视频进行划分以提取每一帧图像上的AU局部区域：首先，将每一帧图像上的各个AU关键点作为中心，提取出n*n大小的区域作为该AU所在的局部区域；然后，将提取的各个AU局部区域送入单独的自编码器进行编码，以获取包含特定AU相关信息的特征向量，在每个AU局部区域的自编码器学习过程中，使用以下两种损失函数进行约束：第一种是像素级重建损失函数LR：其中，n为每个AU ROI的大小，IGT是AU ROI的真实值，IR是重建出的AU ROI图像；第二种是ROI级多标签AU检测损失函数其中：C是类别的数量，R是上一步中获取到的ROI数量，YROI∈{0,1},R×C是AU标签的真2CN112633153A权　利　要　求　书2/2页实值，表示AU j在AU ROI i中不活跃,表示AUj在AUROI i中活跃，用于衡量当前ROI是否含有特定AU；最后，使用权衡参数λ将上述两种损失函数合并，得到最终用于AU深度表示提取的损失函数如下：LROI＝LROI_softmax+λ1LR。4.根据权利要求2所述的时空图卷积网络的面部表情运动单元识别方法，其特征在于，步骤2)具体：AU序列时空关系图中的邻居关系分为三类：AU节点与自身的邻居关系、空间上的邻居关系、时间上的邻居关系；对于某一结点vti，其邻居集合B(vti)定义如下：vti是第t帧的第i个节点，B(vti)为vti节点的邻居集，d(x,y)指同一帧内两节点间的共现概率，|x‑y|为是两节点时间上的间隔距离，K,Γ分别为共现概率和时间距离的阈值；K,Γ作为模型的超参数，通过训练选取合适的值；最终得到AU的时空关系邻接矩阵，关系图中每个节点代表一个AU特征向量，相邻的节点代表在时间或空间上与当前AU节点有密切关系的AU，通过AU时空关系邻接矩阵即可表示AU的时空关系图。5.根据权利要求2所述的时空图卷积网络的面部表情运动单元识别方法，其特征在于，步骤3)具体：使用ST‑GCN模型在步骤3)中构建的AU时空关系图上进行图卷积操作，即分别对时空关系图中的每个节点进行图卷积操作，将邻居集合划分为不同的子集，首先定义单帧的映射函数l：l∶B(vti)→{0,1,…,K‑1}映射函数l将vti的邻居集B映射为K个不同子集，每个子集对应一个标签号；为了同时计算时间维度上的子集，定义lST映射函数：即在原来单帧的子集标签上加上时间上的间隔距离,l,lST的参数分别为当前结点和要映射的邻居节点；图卷积操作的公式如下：fin(*),fout(*)分别为该节点的卷积输入特征值和输出特征值；Zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|，也就是vtj所属子集的势，这里用作正则项来平衡不同子集大小对结果的影响；w(*)为每个邻居子集自己的权重函数，通过学习得到；然后，对时空关系图的邻接矩阵使用上述公式进行卷积操作，反复进行图卷积操作后，深度特征向量便可以充分表示各个AU之间的联系、AU自身特征；最后，将深度特征表示的向量使用全卷积神经网络进行分类，得到AU识别的分类结果。3CN112633153A说　明　书1/5页基于时空图卷积网络的面部表情运动单元识别方法技术领域[0001]本发明涉及计算机视觉和情感计算技术领域，尤其涉及一种基于时空图卷积网络(Spatial‑Temporal Graph Convolutional Networks,ST‑GCN)的人面部表情运动单元识别(ActionUnit，AU)，该方法可被广泛应用于情绪识别、人机交互等领域。背景技术[0002]面部表情能够揭示人的内心活动、精神状态以及向外传达的社交行为。随着人工智能的发展，以人为中心的面部表情识别已逐渐受到业界和学术界的普遍关注。使用面部运动编码系统进行表情分析是面部表情识别的常用方法之一。[0003]面部运动编码系统(Facial Action Coding System，FACS)从解剖学角度将人的面部按照肌肉的运动分为44个面部运动单元，用来表示人面部不同区域肌肉的运动情况。例如AU7表示是否收紧眼睑，AU23表示是否收紧双唇等。相较于使用六种基本表情(愤怒、厌恶、恐惧、高兴、悲伤和惊讶)，基于AU的面部表情描述方法更为客观、粒度更细，并且可以避免观测者主观判断所引入的标注歧义性。基于计算机的自动化AU检测，可以准确分析面部表情进而理解个体情绪，在驾驶员疲劳检测、病患疼痛估计、心理学研究等领域有着良好的应用前景。[0004]随着深度学习相关理论和技术的发展，AU的检测技术也取得了显著的进步。但与此同时AU检测依然面临着诸多挑战，实际应用场景中AU的数据具有较高的复杂性，头部姿态、遮挡、复杂光照等因素会造成AU识别模型性能的明显下降。此外，由于人种族、肤色、年龄、性别等方面的个体差异，使得AU识别存在巨大的类内差异，也会显著影响AU识别的准确率。同时由于AU的标注需要专业的人员花费较多时间才能完成，所以可供训练的数据集远远不能满足复杂场景下对于各个人种检测的需要，数据样本小，容易出现过拟合。[0005]现有的AU检测模型中，大多只考虑了同一个时间点内不同AU间的关联关系，而忽略了空间和时间的相关性。发明 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 [0006]为克服现有技术的不足，本发明的目的在于利用ST‑GCN(时空图卷积模型)进行AU识别。[0007]本发明的技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 是基于时空图卷积网络的面部表情运动单元识别方法，通过卷积自编码器对面部运动单元AU区域进行特征提取，然后根据AU时空关系密切程度构造AU序列的时空关系图，最后基于ST‑GCN进行AU识别。[0008]具体步骤如下：[0009]首先，通过自编码器对AU局部区域进行特征提取。对图像帧序列中的每一帧图像基于面部关键点(landmark)信息获取各个AU的中心位置，根据AU中心位置划分出n*n大小的区域作为对应AU所在的局部区域。将所有AU所在局部区域(ROI)输入每个AU特定的自编码器(AEs)进行编码，从而获取到d0维充分包含AU信息的深度表示。4CN112633153A说　明　书2/5页[0010]接着，构建AU序列的无向时空关系图，从而对AU之间的时空关系进行建模。AU时空关系图中的每一个节点由(1)中提取到的一个AU的深度表示向量构成，AU关系图中的节点根据相互之间联系的密切程度进行连接。[0011]①空间关系构建。通过统计训练集中AU的共现概率，构造关系矩阵M表示AU之间关联的密切程度。进一步地，设置阈值h，将关联密切程度大于h的AU进行连接，从而对AU在空间上的邻接关系进行建模。[0012]②时间关系构建。设置时间阈值τ，将图像帧序列中时间间隔不超过τ个图像帧且属于同一个AU的节点进行连接，从而对AU节点在时间上的关系进行建模。[0013]最后，基于ST‑GCN(时空图卷积模型)进行AU识别。使用ST‑GCN在(2)中构建的AU序列时空关系图上进行多次图卷积操作，得到包含空间和时间信息的深度AU特征表示。最后通过全连接神经网络对深度AU特征表示进行分类，得到AU的识别结果。[0014]步骤(1)具体地，对输入的视频进行划分以提取每一帧图像上的AU局部区域(ROI)。首先将每一帧图像上的各个AU关键点作为中心，提取出n*n大小的区域作为该AU所在的局部区域。然后，将提取的各个AU局部区域送入单独的自编码器(AEs)进行编码，以获取包含特定AU相关信息的特征向量。在每个AU局部区域的自编码器学习过程中，使用以下两种损失函数进行约束。[0015]第一种是像素级重建损失函数LR：[0016][0017]其中，n为每个AU ROI的大小，IGT是AU ROI的真实值，IR是重建出的AU ROI图像。[0018]第二种是ROI级多标签AU检测损失函数[0019][0020]其中C是类别的数量，R是上一步中获取到的ROI数量,YROI∈{0,1},R×C是AU标签的真实值。表示AU j在AU ROI i中不活跃,表示AUj在AUROI i中活跃。用于衡量当前ROI是否含有特定AU。[0021]最后，使用权衡参数λ将上述两种损失函数合并，得到最终用于AU深度表示提取的损失函数如下：[0022]LROI＝LROI_softmax+λ1LR。[0023]步骤(2)进一步地，构建AU序列的无向时空关系图。AU序列时空关系图中的邻居关系分为三类：AU节点与自身的邻居关系、空间上的邻居关系、时间上的邻居关系。对于某一结点vti，其邻居集合B(vti)定义如下：[0024][0025]vti是第t帧的第i个节点，B(vti)为vti节点的邻居集，d(x,y)指同一帧内两节点间的共现概率，|x‑y|为是两节点时间上的间隔距离，K,Γ分别为共现概率和时间距离的阈值。K,Γ作为模型的超参数，通过训练选取合适的值。最终得到AU的时空关系邻接矩阵，关5CN112633153A说　明　书3/5页系图中每个节点代表一个AU特征向量，相邻的节点代表在时间或空间上与当前AU节点有密切关系的AU。通过AU时空关系邻接矩阵即可表示AU的时空关系图。[0026]步骤(3)具体地，使用ST‑GCN模型在步骤(3)中构建的AU时空关系图上进行图卷积操作。即分别对时空关系图中的每个节点进行图卷积操作。此步骤中，为了方便卷积操作，将邻居集合划分为不同的子集，首先定义单帧的映射函数l：[0027]l：B(vti)→{0,1,…,K‑1}[0028]映射函数l将vti的邻居集B映射为K个不同子集，每个子集对应一个标签号。为了同时计算时间维度上的子集，定义lST映射函数：[0029][0030]即在原来单帧的子集标签上加上时间上的间隔距离,l,lST的参数分别为当前结点和要映射的邻居节点。[0031]图卷积操作的公式如下：[0032][0033]fin(*),fout(*)分别为该节点的卷积输入特征值和输出特征值；Zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|,也就是vtj所属子集的势，这里用作正则项来平衡不同子集大小对结果的影响；w(*)为每个邻居子集自己的权重函数，通过学习得到。[0034]然后，对时空关系图的邻接矩阵使用上述公式进行卷积操作，反复进行图卷积操作后，深度特征向量便可以充分表示各个AU之间的联系、AU自身特征。[0035]最后，将深度特征表示的向量使用全卷积神经网络进行分类，得到AU识别的分类结果。本发明有益效果:本发明应用一种基于时空图卷积网络来进行面部运动单元的识别，通过使用无向时空图模型对AU之间的时空依赖关系进行建模，并使用时空图卷积网络进行AU深度表示特征的学习，以提高AU识别的准确率。本发明可以有效解决AU检测模型鲁棒性差、准确率低等问题，能够被广泛应用于表情分析、情感计算、人机交互等应用。[0036]1.本发明最大的创新点在于将时空图卷积网络模型应用到表情运动单元(AU)识别中，可基于图像帧序列进行AU识别。相较于基于单帧的AU识别方法，考虑了AU之间的时空关系，具有重要的研究和应用价值；[0037]2.本发明利用人工智能前沿技术——深度学习方法构建的AU识别算法可以通过对面部运动单元时空关系的建模实现AU检测，为人工智能领域中人脸表情识别提供了重要的理论基础和技术平台。[0038]3.本发明可以同时应用于情感计算、人机交互、人脸表情识别的研究中。附图说明[0039]图1本发明实施步骤图。[0040]图2深度自编码器(AEs)模型。[0041]图3本发明最终效果图。6CN112633153A说　明　书4/5页具体实施方式[0042]本发明通过自编码器对面部运动单元AU区域进行特征提取，然后基于AU时空关系构造AU序列的时空关系图，最后使用时空图卷积网络模型对AU时空关系图进行图卷积操作，并使用全连接网络进行AU识别，以检测AU的出现情况和强度。[0043]本发明的具体步骤如下：[0044]首先，将输入的图像帧序列进行切分并提取每一帧图像中的AU局部区域(ROI)。使用自编码器对面部AU关键区域(ROI)进行深度特征的提取。[0045]接着，将上一步中提取到的AU的深度表示向量作为节点，构建AU序列的无向时空关系图。将节点在空间和时间上根据其联系密切程度进行连接，对节点之间的时空关系进行建模。通过统计训练集中AU之间出现的条件概率，构造关系矩阵M表示AU之间关联的密切程度。进一步地，设置阈值h，将关联密切程度大于h的AU节点进行连接。设置时间阈值τ，将时间上间隔不超过τ且属于同一个AU的节点进行连接。[0046]最后，基于ST‑GCN(时空图卷积模型)进行AU识别。使用ST‑GCN在AU序列的无向时空关系图上进行多次图卷积操作，得到包含空间和时间信息的深度AU特征表示，并通过全连接神经网络对深度AU特征表示进行分类，得到AU的识别结果。[0047]下面结合附图和具体实例进一步详细说明本发明。[0048]本发明的具体实施步骤如图1所示，主要包括以下三个步骤：[0049](1)基于卷积自编码器的AU局部区域深度表示特征提取：[0050]对输入的图像帧序列进行划分以提取每一帧图像上的AU局部区域(ROI)。首先将每一帧图像上的各个AU关键点作为中心，提取出n*n大小的区域作为该AU所在的局部区域。然后，将提取的各个AU局部区域送入单独的自编码器(AEs)进行编码，以获取包含特定AU相关信息的特征向量。在每个AU局部区域的自编码器学习过程中，使用以下两种损失函数进行约束。[0051]第一种是像素级别的重建损失函数LR：[0052][0053]其中，n为每个AU ROI的大小，IGT是AU ROI的真实值，IR是重建出的AU ROI图像。[0054]第二种是ROI级的多标签AU检测损失函数：[0055][0056]其中C是类别的数量，R是上一步中获取到的ROI数量,YROI∈{0,1},R×C是AU标签的真实值。表示AU j在AU ROI i中不活跃,表示AUj在AUROI i中活跃。用于衡量当前ROI是否含有特定AU。[0057]最后，使用权衡参数λ将上述两种损失函数合并，得到最终用于AU深度表示提取的损失函数如下：[0058]LROI＝LROI_softmax+λ1LR[0059](2)AU时空关系图模型的构建：7CN112633153A说　明　书5/5页[0060]使用无向图模型对AU的时空关系进行建模，AU时空关系图中的每一个节点由(1)中的一个AU深度表示向量构成。AU序列的时空关系图中的邻居关系分为三类：AU节点与自身的邻居关系、空间上的邻居关系、时间上的邻居关系。对于某一结点vti，其邻居集合B(vti)定义如下：[0061][0062]vti是第t帧的第i个节点，B(vti)为vti节点的邻居集，d(x,y)指同一帧内两节点间的共现概率，|x‑y|为是两节点时间上的间隔距离，K,Γ分别为共现概率和时间距离的阈值。K,Γ作为模型的超参数，通过训练选取合适的值。最终得到AU的时空关系邻接矩阵，关系图中每个节点代表一个AU特征向量，相邻的节点代表在时间或空间上与当前AU节点有密切关系的AU。通过AU时空关系邻接矩阵即可表示AU的时空关系图。[0063](3)基于时空图卷积网络的AU识别[0064]通过时空图卷积模型在上一步中构建的AU时空关系图上进行图卷积操作。即分别对时空关系图中的每个节点进行图卷积操作。此步骤中，为了方便卷积操作，将邻居集合划分为不同的子集，首先定义单帧的映射函数l：[0065]l：B(vti)→{0,1,…,K‑1}[0066]映射函数l将vti的邻居集B映射为K个不同子集，每个子集对应一个标签号。为了同时计算时间维度上的子集，定义lST映射函数：[0067][0068]即在原来单帧的子集标签上加上时间上的间隔距离,l,lST的参数分别为当前结点和要映射的邻居节点。[0069]图卷积操作的公式如下：[0070][0071]fin(*),fout(*)分别为该节点的卷积输入特征值和输出特征值；Zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|,也就是vtj所属子集的势，这里用作正则项来平衡不同子集大小对结果的影响；w(*)为每个邻居子集自己的权重函数，通过学习得到。[0072]然后对时空关系图的邻接矩阵使用上述公式进行卷积操作，反复进行图卷积操作后，深度特征向量便可以充分表示各个AU之间的联系、AU自身特征。[0073]最后，将深度特征表示的向量使用全卷积神经网络进行分类，得到AU识别的分类结果。[0074]总结：[0075]本发明提出了一种基于时空图卷积的面部表情单元的检测提取方法，可用于使用AU进行情绪识别等应用。通过面部关键点获得AU中心，构建AU序列的时空关系图，进而用时空图卷积模型对AU进行识别与强度数值提取，可以实现AU的快速识别检测，进而解决利用AU进行情绪识别等问题。本方法可被广泛应用于机器在不同场景下对人的情绪识别，进而根据人的情绪类型做出不同交互，在基于面部表情的情绪识别交互的推广与应用中具有重要的价值。8CN112633153A说　明　书　附　图1/2页图1图29CN112633153A说　明　书　附　图2/2页图310