基于多粒度自注意力的下一个兴趣点推荐方法

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112632404A(43)申请公布日2021.04.09(21)申请号202011616569.2(22)申请日2020.12.30(71)申请人神行太保智能科技（苏州）有限公司地址215123江苏省苏州市自由贸易试验区苏州片区苏州工业园区东平街280号黄金屋大厦五楼509室(72)发明人赵磊　张军　赵朋朋　(74)专利代理机构北京远大卓悦知识产权代理有限公司11369代理人卞静静(51)Int.Cl.G06F16/9536(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q50/00(2012.01)权利要求 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 2页说明书7页附图3页(54)发明名称基于多粒度自注意力的下一个兴趣点推荐 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 (57)摘要本发明公开了一种基于多粒度自注意力的下一个兴趣点推荐方法，其包括：构建多粒度自注意力网络模型，该网络模型包括：对时间进行感知编码的第一编码器、对空间进行感知编码的第二编码器、对POI特征进行解码的解码器；采集多个用户历史签到数据，对上述网络模型进行训练，利用训练好的网络模型预测用户的下一个兴趣点；训练和预测的过程包括：根据用户历史签到数据提取包含时间特征和空间特征的POI序列，根据用户历史签到数据提取包含时间特征和空间特征的POI商圈序列；将POI序列和POI商圈序列作为输入序列，通过上述网络模型处理得到用户下一个POI id。本发明在综合考虑POI序列和POI商圈序列后再应用多粒度自注意力网络，可以更准确的推荐下一个兴趣点。CN112632404ACN112632404A权　利　要　求　书1/2页1.基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，包括：构建多粒度自注意力网络模型，所述多粒度自注意力网络模型包括：对时间进行感知编码的第一编码器、对空间进行感知编码的第二编码器、对POI特征进行解码的解码器；采集多个用户历史签到数据，将部分用户的历史签到数据作为训练集对所述多粒度自注意力网络模型进行训练，将另一部分用户的历史签到数据作为测试集，利用训练好的多粒度自注意力网络模型预测用户的下一个兴趣点；其中，训练集训练的过程和测试集测试的过程包括：根据用户历史签到数据提取包含时间特征和空间特征的POI序列，根据用户历史签到数据提取包含时间特征和空间特征的POI商圈序列；将POI序列和POI商圈序列作为输入序列，通过所述多粒度自注意力网络模型处理得到用户下一个POI id。2.如权利要求1所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，用户历史签到数据包括用户id、POI id、签到时间、POI所属类别、POI种类和POI地理位置。3.如权利要求2所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述解码器包括对POI种类进行解码的第一解码器、对POI所属类别进行解码的第二解码器以及对POI id进行解码的第三解码器。4.如权利要求3所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述第一编码器和第二编码器均由特征层、聚合层和自注意力网络组成。5.如权利要求4所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，将POI序列和POI商圈序列作为输入序列，通过所述多粒度自注意力网络模型处理得到用户下一个POI id的过程包括：使用第一编码器对POI序列中的时间特征进行编码得到POI序列的时间感知编码，使用第二编码器对POI序列中的空间特征进行编码得到POI序列的空间感知编码，综合POI序列的时间感知编码和POI序列的空间感知编码得到POI序列表示；使用第一编码器对POI商圈序列中的时间特征进行编码得到POI商圈序列的时间感知编码，使用第二编码器对POI商圈序列中的空间特征进行编码得到POI商圈序列的空间感知编码，综合POI商圈序列的时间感知编码和POI商圈序列的空间感知编码得到POI商圈序列表示；将POI序列的时间感知编码与POI商圈序列的时间感知编码作为输入量，通过第一解码器处理得到下一个POI种类预测值；将POI序列中的时间特征在编码过程中得到的聚合表示与POI商圈序列中的时间特征在编码过程中得到的聚合表示作为输入量，通过第二解码器处理得到下一个POI所属类别预测值；将POI序列表示、POI商圈序列表示、下一个POI种类预测值以及下一个POI所属类别预测值作为输入量，通过第三解码器处理得到用户下一个POI id。6.如权利要求4所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述自注意力网络加入了一层前馈神经网络，使用的激活函数为ReLu函数。7.如权利要求5所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述第一解码器的激活函数为sigmoid函数，损失函数为交叉熵损失函数。2CN112632404A权　利　要　求　书2/2页8.如权利要求5所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述第二解码器的损失函数为BPR损失函数。9.如权利要求5所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述第三解码器的损失函数为BPR损失函数。10.如权利要求5所述的基于多粒度自注意力的下一个兴趣点推荐方法，其特征在于，所述多粒度自注意力网络模型训练过程中使用了AdaGrad优化器。3CN112632404A说　明　书1/7页基于多粒度自注意力的下一个兴趣点推荐方法技术领域[0001]本发明涉及信息处理技术领域。更具体地说，本发明涉及一种基于多粒度自注意力的下一个兴趣点推荐方法。背景技术[0002]随着智能设备的快速发展，微信、微博和Facebook等社交网络吸引了数十亿用户进行信息交流和分享。近年来，社交网络应用的一个显著进步是定位系统的引入，这导致了基于位置的社交网络(LBSNs)的出现，如Foursquare和Yelp。兴趣点(POI)推荐系统在社交网络中起着至关重要的作用，它可以帮助用户发现当地有趣的景点或设施。此外，它还可以帮助服务提供商根据用户的签到序列推荐个性化服务(如广告)。然而，大多的下一个兴趣点推荐只关注于在POI序列上的转移模式，而忽略了POI商圈之间的转移模式，导致下一个兴趣点推荐的准确性不高。发明内容[0003]本发明的一个目的是解决至少上述问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，并提供至少后面将说明的优点。[0004]本发明还有一个目的是提供一种基于多粒度自注意力的下一个兴趣点推荐方法，在综合考虑POI序列和POI商圈序列后再应用多粒度自注意力网络，可以更准确的推荐下一个兴趣点。[0005]为了实现根据本发明的这些目的和其它优点，提供了一种基于多粒度自注意力的下一个兴趣点推荐方法，其包括：[0006]构建多粒度自注意力网络模型，所述多粒度自注意力网络模型包括：对时间进行感知编码的第一编码器、对空间进行感知编码的第二编码器、对POI特征进行解码的解码器；[0007]采集多个用户历史签到数据，将部分用户的历史签到数据作为训练集对所述多粒度自注意力网络模型进行训练，将另一部分用户的历史签到数据作为测试集，利用训练好的多粒度自注意力网络模型预测用户的下一个兴趣点；[0008]其中，训练集训练的过程和测试集测试的过程包括：根据用户历史签到数据提取包含时间特征和空间特征的POI序列，根据用户历史签到数据提取包含时间特征和空间特征的POI商圈序列；[0009]将POI序列和POI商圈序列作为输入序列，通过所述多粒度自注意力网络模型处理得到用户下一个POI id。[0010]优选的是，用户历史签到数据包括用户id、POI id、签到时间、POI所属类别、POI种类和POI地理位置。[0011]优选的是，所述解码器包括对POI种类进行解码的第一解码器、对POI所属类别进行解码的第二解码器以及对POI id进行解码的第三解码器。[0012]优选的是，所述第一编码器和第二编码器均由特征层、聚合层和自注意力网络组4CN112632404A说　明　书2/7页成。[0013]优选的是，将POI序列和POI商圈序列作为输入序列，通过所述多粒度自注意力网络模型处理得到用户下一个POI id的过程包括：[0014]使用第一编码器对POI序列中的时间特征进行编码得到POI序列的时间感知编码，使用第二编码器对POI序列中的空间特征进行编码得到POI序列的空间感知编码，综合POI序列的时间感知编码和POI序列的空间感知编码得到POI序列表示；[0015]使用第一编码器对POI商圈序列中的时间特征进行编码得到POI商圈序列的时间感知编码，使用第二编码器对POI商圈序列中的空间特征进行编码得到POI商圈序列的空间感知编码，综合POI商圈序列的时间感知编码和POI商圈序列的空间感知编码得到POI商圈序列表示；[0016]将POI序列的时间感知编码与POI商圈序列的时间感知编码作为输入量，通过第一解码器处理得到下一个POI种类预测值；[0017]将POI序列中的时间特征在编码过程中得到的聚合表示与POI商圈序列中的时间特征在编码过程中得到的聚合表示作为输入量，通过第二解码器处理得到下一个POI所属类别预测值；[0018]将POI序列表示、POI商圈序列表示、下一个POI种类预测值以及下一个POI所属类别预测值作为输入量，通过第三解码器处理得到用户下一个POI id。[0019]优选的是，所述自注意力网络加入了一层前馈神经网络，使用的激活函数为ReLu函数。[0020]优选的是，所述第一解码器的激活函数为sigmoid函数，损失函数为交叉熵损失函数。[0021]优选的是，所述第二解码器的损失函数为BPR损失函数。[0022]优选的是，所述第三解码器的损失函数为BPR损失函数。[0023]优选的是，所述多粒度自注意力网络模型训练过程中使用了AdaGrad优化器。[0024]本发明至少包括以下有益效果：本发明通过将POI序列作为细粒度序列，将POI商圈序列作为粗粒度序列，在粗粒度序列和细粒度序列两个层次上进行建模，可以有效提高模型表达能力，采用多粒度自注意力网络捕捉两个粒度的有序转移模式，并引入用于预测下一个兴趣点种类的活动任务和用于预测下一个兴趣点所属类别的辅助任务，最后综合粗细粒度序列表示和两个任务的结果来推荐下一个兴趣点，相比于单一的POI序列推荐，本发明在推荐准确度上大有提高。[0025]本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。附图说明[0026]图1为本发明所述基于多粒度自注意力的下一个兴趣点推荐方法的流程图；[0027]图2为本发明所述多粒度自注意力网络模型训练和测试过程的流程图；[0028]图3为本发明所述多粒度自注意力网络模型编码和解码过程的流程图；[0029]图4为本发明其中一个实施例所述用户Alice的历史访问记录图示。5CN112632404A说　明　书3/7页具体实施方式[0030]下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。[0031]需要说明的是，本申请所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0032]如图1所示，本发明提供一种基于多粒度自注意力的下一个兴趣点推荐方法，其包括：[0033]S101、构建多粒度自注意力网络模型，所述多粒度自注意力网络模型包括：对时间进行感知编码的第一编码器、对空间进行感知编码的第二编码器、对POI特征进行解码的解码器；[0034]这里第一编码器和第二编码器均由特征层、聚合层和自注意力网络组成。[0035]自注意力网络利用注意 机制 综治信访维稳工作机制反恐怖工作机制企业员工晋升机制公司员工晋升机制员工晋升机制图 来计算每个要素与所有其他要素之间的相关性。为了计算自我注意得分，主要有以下几个过程：[0036]首先，根据输入矩阵X与权重矩阵点乘得到Q，K，V：[0037]Q＝XWQ；[0038]K＝XWK；[0039]V＝XWV；[0040]其次，对于Q，K，V进行运算，将运算后的结果再用softmax函数归一化：[0041][0042]其中，的作用是为了对结果进行缩放。由于前面的计算都是线性计算，为了让模型具有更好的非线性拟合能力，从而加入一层前馈神经网络，使用的激活函数是ReLu函数：[0043]F＝FFN(Z)＝ReLu(ZW1+b1)；[0044]最后，得到了自注意力网络的结果F。[0045]这里POI特征包括POI id、POI所属类别、POI种类和POI地理位置，对POI特征进行解码的解码器包括对POI种类进行解码的第一解码器、对POI所属类别进行解码的第二解码器以及对POI id进行解码的第三解码器。[0046]S102、采集多个用户历史签到数据，将部分用户的历史签到数据作为训练集对所述多粒度自注意力网络模型进行训练，将另一部分用户的历史签到数据作为测试集，利用训练好的多粒度自注意力网络模型预测用户的下一个兴趣点；[0047]比如说有10个用户，分别有一些历史记录，假设都是p1～p10，训练的时候，在训练集中，对于每个用户，p1～p9用作训练来预测p10，假设训练集与测试集的比例为8：2，也就是说8个用户历史记录用来训练，得到多粒度自注意力网络模型的可学习参数，2个用户历史记录作为测试集用来单独进行测试，预测用户的下一个兴趣点。当然这里仅仅是举例说明，在实际应用过程中，训练集数量随着用户数量的增加而不断增长，这样多粒度自注意力网络模型的预测结果才越来越准确。[0048]这里训练集训练的过程和测试集测试的过程包括：6CN112632404A说　明　书4/7页[0049]S201、根据用户历史签到数据提取包含时间特征和空间特征的POI序列，根据用户历史签到数据提取包含时间特征和空间特征的POI商圈序列；[0050]这里用户历史签到数据包括用户id(u)、POI id(p)、签到时间(t)、POI所属类别(c)、POI种类(y)和POI地理位置(g)，使用参数表示为(u,p,t,c,y,g)。[0051]这里用户id(u)、POI id(p)、签到时间(t)、POI地理位置(g)比较好理解，根据字面意思即可知晓，对于POI所属类别(c)，大致可分为：餐饮、医院、教育等等。对于POI种类(y)，我们用如下例子进行解释：[0052]如图4所示，用户Alice在电子地图上有如下历史访问记录p2→p3→…→p8。其中，个体POI p2,p3,p4,p5在商圈POI p1之中。在此模型中，POI序列(细粒度序列)为p2→p3→…→p8，POI商圈序列(粗粒度序列)为p1→p6→p7→p8，其中，p2→p3→p4→p5简化成商圈POI p1。由于个体POI p6,p7,p8在更高粒度上没有相对应的POI商圈，因此为了保持序列上下文语义的完整性，我们仍将p6,p7,p8进行保留。如果将POI种类(y)用0和1来区分，那么，在POI序列中，POI p2～p8种类(y)的值为0，在POI商圈序列中p1所属种类(y)的值为1。[0053]在POI序列中，为用户u在时间n的时间特征，为用户u在时间n的空间特征。同理，在POI商圈序列中，为用户u在时间n的时间特征，为用户u在时间n的空间特征。[0054]S202、将POI序列和POI商圈序列作为输入序列，通过所述多粒度自注意力网络模型处理得到用户下一个POI id。[0055]上述步骤具体包括以下过程：[0056]S301、使用第一编码器对POI序列中的时间特征进行编码得到POI序列的时间感知编码。[0057]在POI序列中，为用户u在时间n的时间特征，第一编码器由特征层，聚合层，以及自注意力网络组成。[0058]首先，将该时间特征聚合表示为：[0059][0060]其中，是种类的embedding，是时间戳映射到24小时的embedding,是所属类别的embedding，b1为可学习参数。[0061]接着，将该时间特征的聚合表示送入自注意力网络中，得到POI序列的时间感知编码：[0062][0063]其中，SAN代表自注意力网络。代表的是POI序列的时间感知编码。[0064]使用第二编码器对POI序列中的空间特征进行编码得到POI序列的空间感知编码，综合POI序列的时间感知编码和POI序列的空间感知编码得到POI序列表示。[0065]在POI序列中，为用户u在时间n的空间特征，值得注意的是，在提取特征的过程中并未直接使用即空间坐标，而是将当前位置与上一个位置的间隔记为7CN112632404A说　明　书5/7页第二编码器也由特征层，聚合层，以及自注意力网络组成。[0066]首先，将该空间特征聚合表示为：[0067][0068]其中，为POI id对应embedding，为当前位置与上一个位置的间隔，b2为可学习参数。[0069]接着，将的类型设为整数型，从而减少计算复杂度，再将该空间特征的聚合表示送入自注意力网络中，得到POI序列的空间感知编码：[0070][0071]其中，SAN代表自注意力网络。代表的是POI序列的空间感知编码。最后，将POI序列的时间感知编码和空间感知编码合并起来成为POI序列表示：[0072][0073]S302、使用第一编码器对POI商圈序列中的时间特征进行编码得到POI商圈序列的时间感知编码[0074]在POI商圈序列中，为用户u在时间n的时间特征。第一编码器由特征层，聚合层，以及自注意力网络组成。[0075]首先，将该时间特征聚合表示为：[0076][0077]其中，是种类的embedding，是时间戳映射到24小时的embedding，是所属类别的embedding，b3为可学习参数。[0078]接着，将时间特征的聚合表示送入自注意力网络中，得到POI商圈序列的时间感知编码：[0079][0080]其中，SAN代表自注意力网络，代表的是POI商圈序列的时间感知编码。[0081]使用第二编码器对POI商圈序列中的空间特征进行编码得到POI商圈序列的空间感知编码，综合POI商圈序列的时间感知编码和POI商圈序列的空间感知编码得到POI商圈序列表示；[0082]在POI商圈序列中，为用户u在时间n的空间特征。值得注意的是，在提取特征的过程中并未直接使用即空间坐标，而是将当前位置与上一个位置的间隔记为第二编码器也由特征层，聚合层，以及自注意力网络组成。[0083]首先，将该空间特征聚合表示为：[0084]8CN112632404A说　明　书6/7页[0085]其中，为POI id对应embedding，为当前位置与上一个位置的间隔，b4为可学习参数。[0086]接着，将的类型设为整数型，从而减少计算复杂度，再将该空间特征的聚合表示送入自注意力网络中，得到POI商圈序列的空间感知编码：[0087][0088]其中，SAN代表自注意力网络。代表的是POI商圈序列的空间感知编码。最后，将POI商圈序列的时间感知编码和空间感知编码合并起来成为POI商圈序列表示：[0089][0090]S303、将POI序列的时间感知编码与POI商圈序列的时间感知编码作为输入量，通过第一解码器处理得到下一个POI种类预测值；[0091]为了预测下一个POI种类，我们使用来自两个序列的时间感知编码来表示：[0092][0093][0094]其中，是由两个序列的时间感知编码器的聚合，σ是sigmoid函数，为下一个POI种类的预测值。[0095]对于下一个POI种类的预测，我们采用了交叉熵(Cross‑entropy)损失函数：[0096][0097]S304、将POI序列中的时间特征在编码过程中得到的聚合表示与POI商圈序列中的时间特征在编码过程中得到的聚合表示作为输入量，通过第二解码器处理得到下一个POI所属类别预测值；[0098]为了预测下一个POI所属类别，我们先计算来自于两个序列上的时间编码聚合表示，之后计算出两个时间编码聚合表示的聚合Arep，最后进行计算下一个POI所属类别：[0099][0100][0101][0102][0103]其中，Arep为时间感知表示，为用户表示，为下一个POI所属类别的预测值。[0104]对于下一个POI所属类别的预测，我们采用了BPR损失函数：[0105]9CN112632404A说　明　书7/7页[0106]S305、将POI序列表示、POI商圈序列表示、下一个POI种类预测值以及下一个POI所属类别预测值作为输入量，通过第三解码器处理得到用户下一个POI id。[0107]为了推荐下一个POI，我们先将POI序列表示、POI商圈序列表示、下一个POI种类预测值以及下一个POI所属类别预测值聚合起来，然后计算出两个序列空间编码聚合表示的聚合Prep，最后进行推荐下一个POI id：[0108][0109][0110][0111][0112][0113][0114]其中，是不同序列的第一编码器结果和第二编码器结果的聚合，是多粒度序列表示，Prep是空间感知表示，为用户表示，为用户下一个POI id预测值。[0115]对于推荐下一个POI，我们采用了BPR损失函数：[0116][0117]对于总损失函数，有以下表示：[0118][0119]其中，λy，λc和λp用来调节不同损失，λy+λc+λp＝1，λ为正则化系数，Θ＝(W,b)是可学习参数的集合。[0120]这里，当步骤S303～305在训练过程中进行时，还采用AdaGrad优化器优化可学习参数的训练过程。[0121]上述实施例中的方法通过将POI序列作为细粒度序列，将POI商圈序列作为粗粒度序列，在粗粒度序列和细粒度序列两个层次上进行建模，可以有效提高模型表达能力，采用多粒度自注意力网络捕捉两个粒度的有序转移模式，并引入用于预测下一个兴趣点种类的活动任务和用于预测下一个兴趣点所属类别的辅助任务，最后综合粗细粒度序列表示和两个任务的结果来推荐下一个兴趣点，相比于单一的POI序列推荐，本发明在推荐准确度上大有提高。[0122]尽管本发明的实施 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。10CN112632404A说　明　书　附　图1/3页图1图211CN112632404A说　明　书　附　图2/3页图312CN112632404A说　明　书　附　图3/3页图413