首页 上下游关系的抽取方法、装置、电子设备及存储介质

上下游关系的抽取方法、装置、电子设备及存储介质

举报
开通vip

上下游关系的抽取方法、装置、电子设备及存储介质(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112632975A(43)申请公布日2021.04.09(21)申请号202011598720.4(22)申请日2020.12.29(71)申请人北京明略软件系统有限公司地址100000北京市海淀区中关村东路1号院1号楼10层A1002(72)发明人高剑奇 景艳山 (74)专利代理机构北京超成律师事务所11646代理人裴素英(51)Int.Cl.G06F40/279(2020.01)G06F40/30(2020.01)G06F16/35...

上下游关系的抽取方法、装置、电子设备及存储介质
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112632975A(43)申请公布日2021.04.09(21)申请号202011598720.4(22)申请日2020.12.29(71)申请人北京明略软件系统有限公司地址100000北京市海淀区中关村东路1号院1号楼10层A1002(72)发明人高剑奇 景艳山 (74)专利代理机构北京超成律师事务所11646代理人裴素英(51)Int.Cl.G06F40/279(2020.01)G06F40/30(2020.01)G06F16/35(2019.01)G06N7/00(2006.01)权利要求书2页说明书10页附图4页(54)发明名称上下游关系的抽取方法、装置、电子设备及存储介质(57)摘要本申请提供一种上下游关系的抽取方法、装置、电子设备及存储介质,涉及数据处理技术领域。该方法通过获取待分析文本语料,待分析文本语料包括多个实体,实体包括业务主体名称;采用实体抽取模型抽取待分析文本语料中的多个实体;根据预设实体映射表,输出多个实体之间的上下游关系,预设实体映射表用于指示各实体所属的业务主体层级,在此过程中,由于实体抽取模型是根据多个样本语料训练获取的,因此,根据预设实体映射表,确定多个实体之间的上下游关系时,可以提高实体抽取和实体上下游关系的准确性;此外,相较于现有基于抽取规则抽取实体之间的上下游关系,本申请可以不受抽取规则的限定,使得可以提高抽取方法的泛化能力。CN112632975ACN112632975A权 利 要 求 书1/2页1.一种上下游关系的抽取方法,其特征在于,包括:获取待分析文本语料,所述待分析文本语料包括多个实体,所述实体包括业务主体名称;采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,其中,所述实体抽取模型通过多个样本语料训练获取;根据预设实体映射表,输出多个实体之间的上下游关系,所述预设实体映射表用于指示各所述实体所属的业务主体层级。2.根据权利要求1所述的方法,其特征在于,所述采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,包括:根据预设算法,在所述待分析文本语料中抽取目标待分析文本语料,所述目标待分析文本语料包括用于指示合作关系的预设关键词;采用所述实体抽取模型抽取所述目标待分析文本语料中的多个实体。3.根据权利要求1所述的方法,其特征在于,所述根据预设实体映射表,输出多个实体之间的上下游关系,包括:根据多个所述实体,确定业务主体实体对,其中,每个所述业务主体实体对包括2个所述实体,并存在合作关系;根据所述预设实体映射表,输出所述业务主体实体对中两个所述实体之间的上下游关系。4.根据权利要求3所述的方法,其特征在于,所述根据多个所述实体,确定业务主体实体对,包括:根据多个所述实体,获取至少一个初始实体对;根据至少一个所述初始实体对和预设分类模型,确定所述业务主体实体对,其中,所述预设分类模型根据多个样本实体对训练获取,每个所述样本实体对包括2个样本实体,并标注有是否存在合作关系的标签。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:获取多个样本语料,每个所述样本语料标注有至少一个样本实体;根据多个所述样本语料,训练获取所述实体抽取模型。6.根据权利要求5所述的方法,其特征在于,所述根据多个所述样本语料,训练获取所述实体抽取模型,包括:采用预训练语言模型,提取每个所述样本语料的词嵌入表示;根据每个所述样本语料的词嵌入表示,基于长短期记忆网络获取每个所述样本语料的语义特征信息;根据每个所述样本语料的语义特征信息和条件随机场模型,训练获取所述实体抽取模型。7.根据权利要求6所述的方法,其特征在于,所述采用所述实体抽取模型抽取所述目标待分析文本语料中的多个实体,包括:采用预训练语言模型,提取所述目标待分析文本语料的词嵌入表示;根据所述目标待分析文本语料的词嵌入表示,基于长短期记忆网络获取所述目标待分析文本语料的语义特征信息;2CN112632975A权 利 要 求 书2/2页根据所述目标待分析文本语料的语义特征信息,采用条件随机场模型获取所述目标待分析文本语料对应的目标标注序列;根据所述目标标注序列,确定所述目标待分析文本语料中的多个所述实体。8.一种上下游关系的抽取装置,其特征在于,包括:获取模块,用于获取待分析文本语料,所述待分析文本语料包括多个实体,所述实体包括业务主体名称;抽取模块,用于采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,其中,所述实体抽取模型通过多个样本语料训练获取;输出模块,用于根据预设实体映射表,输出多个实体之间的上下游关系,所述预设实体映射表用于指示各所述实体所属的业务主体层级。9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1‑7任一所述上下游关系的抽取方法的步骤。10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1‑7任一所述上下游关系的抽取方法的步骤。3CN112632975A说 明 书1/10页上下游关系的抽取方法、装置、电子设备及存储介质技术领域[0001]本申请涉及数据处理技术领域,特别涉及一种上下游关系的抽取方法、装置、电子设备及存储介质。背景技术[0002]上游企业是相对下游企业而言的,指处于行业生产和业务的初始阶段的企业和厂家,其中,这些厂家主要生产下游企业所必需的原 材料 关于××同志的政审材料调查表环保先进个人材料国家普通话测试材料农民专业合作社注销四查四问剖析材料 和初级产品等的厂商,下游企业主要是对原材料进行深加工和改性处理,并将原材料转化为生产和生活中的实际产品。随着各个行业的快速发展,通过分析企业之间的上下游关系可以对企业经营过程中可能存在的风险进行分析,辅助企业进行决策。[0003]现有抽取企业之间的上下游关系时,主要通过制定严格的抽取规则,进而基于该抽取规则可以抽取企业之间的上下游关系。[0004]但由于现有的抽取方式比较简单,因此,现有的抽取方法存在着泛化能力较差的问题。发明内容[0005]本申请的目的在于,针对上述现有技术中的不足,提供一种上下游关系的抽取方法、装置、电子设备及存储介质,可以提高抽取方法的泛化能力。[0006]为实现上述目的,本申请实施例采用的技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 如下:[0007]第一方面,本发明提供一种上下游关系的抽取方法,包括:[0008]获取待分析文本语料,所述待分析文本语料包括多个实体,所述实体包括业务主体名称;[0009]采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,其中,所述实体抽取模型通过多个样本语料训练获取;[0010]根据预设实体映射表,输出多个实体之间的上下游关系,所述预设实体映射表用于指示各所述实体所属的业务主体层级。[0011]在可选的实施方式中,所述采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,包括:[0012]根据预设算法,在所述待分析文本语料中抽取目标待分析文本语料,所述目标待分析文本语料包括用于指示合作关系的预设关键词;[0013]采用所述实体抽取模型抽取所述目标待分析文本语料中的多个实体。[0014]在可选的实施方式中,所述根据预设实体映射表,输出多个实体之间的上下游关系,包括:[0015]根据多个所述实体,确定业务主体实体对,其中,每个所述业务主体实体对包括2个所述实体,并存在合作关系;[0016]根据所述预设实体映射表,输出所述业务主体实体对中两个所述实体之间的上下4CN112632975A说 明 书2/10页游关系。[0017]在可选的实施方式中,所述根据多个所述实体,确定业务主体实体对,包括:[0018]根据多个所述实体,获取至少一个初始实体对;[0019]根据至少一个所述初始实体对和预设分类模型,确定所述业务主体实体对,其中,所述预设分类模型根据多个样本实体对训练获取,每个所述样本实体对包括两个样本实体,并标注有是否存在合作关系的标签。[0020]在可选的实施方式中,所述方法还包括:[0021]获取多个样本语料,每个所述样本语料标注有至少一个样本实体;[0022]根据多个所述样本语料,训练获取所述实体抽取模型。[0023]在可选的实施方式中,所述根据多个所述样本语料,训练获取所述实体抽取模型,包括:[0024]采用预训练语言模型,提取每个所述样本语料的词嵌入表示;[0025]根据每个所述样本语料的词嵌入表示,基于长短期记忆网络获取每个所述样本语料的语义特征信息;[0026]根据每个所述样本语料的语义特征信息和条件随机场模型,训练获取所述实体抽取模型。[0027]在可选的实施方式中,所述采用实体抽取模型抽取所述目标待分析文本语料中的多个实体,包括:[0028]采用预训练语言模型,提取所述目标待分析文本语料的词嵌入表示;[0029]根据所述目标待分析文本语料的词嵌入表示,基于长短期记忆网络获取所述目标待分析文本语料的语义特征信息;[0030]根据所述目标待分析文本语料的语义特征信息,采用条件随机场模型获取所述目标待分析文本语料对应的目标标注序列;[0031]根据所述目标标注序列,确定所述目标待分析文本语料中的多个所述实体。[0032]第二方面,本发明提供一种上下游关系的抽取装置,包括:[0033]获取模块,用于获取待分析文本语料,所述待分析文本语料包括多个实体,所述实体包括业务主体名称;[0034]抽取模块,用于采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,其中,所述实体抽取模型通过多个样本语料训练获取;[0035]输出模块,用于根据预设实体映射表,输出多个实体之间的上下游关系,所述预设实体映射表用于指示各所述实体所属的业务主体层级。[0036]在可选的实施方式中,所述抽取模块,具体用于根据预设算法,在所述待分析文本语料中抽取目标待分析文本语料,所述目标待分析文本语料包括用于指示合作关系的预设关键词;[0037]采用所述实体抽取模型抽取所述目标待分析文本语料中的多个实体。[0038]在可选的实施方式中,所述输出模块,具体用于根据多个所述实体,确定业务主体实体对,其中,每个所述业务主体实体对包括2个所述实体,并存在合作关系;[0039]根据所述预设实体映射表,输出所述业务主体实体对中两个所述实体之间的上下游关系。5CN112632975A说 明 书3/10页[0040]在可选的实施方式中,所述输出模块,具体用于根据多个所述实体,获取至少一个初始实体对;[0041]根据至少一个所述初始实体对和预设分类模型,确定所述业务主体实体对,其中,所述预设分类模型根据多个样本实体对训练获取,每个所述样本实体对包括两个样本实体,并标注有是否存在合作关系的标签。[0042]在可选的实施方式中,所述装置还包括:训练模块,用于获取多个样本语料,每个所述样本语料标注有至少一个样本实体;[0043]根据多个所述样本语料,训练获取所述实体抽取模型。[0044]在可选的实施方式中,所述训练模块,具体用于采用预训练语言模型,提取每个所述样本语料的词嵌入表示;[0045]根据每个所述样本语料的词嵌入表示,基于长短期记忆网络获取每个所述样本语料的语义特征信息;[0046]根据每个所述样本语料的语义特征信息和条件随机场模型,训练获取所述实体抽取模型。[0047]在可选的实施方式中,所述抽取模块,具体用于采用预训练语言模型,提取所述目标待分析文本语料的词嵌入表示;[0048]根据所述目标待分析文本语料的词嵌入表示,基于长短期记忆网络获取所述目标待分析文本语料的语义特征信息;[0049]根据所述目标待分析文本语料的语义特征信息,采用条件随机场模型获取所述目标待分析文本语料对应的目标标注序列;[0050]根据所述目标标注序列,确定所述目标待分析文本语料中的多个所述实体。[0051]第三方面,本发明提供一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如前述实施方式任一所述上下游关系的抽取方法的步骤。[0052]第四方面,本发明提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如前述实施方式任一所述上下游关系的抽取方法的步骤。[0053]本申请的有益效果是:[0054]本申请实施例提供的上下游关系的抽取方法、装置、电子设备及存储介质中,通过获取待分析文本语料,所述待分析文本语料包括多个实体,所述实体包括业务主体名称;采用实体抽取模型抽取所述待分析文本语料中的多个所述实体,其中,所述实体抽取模型通过多个样本语料训练获取;根据预设实体映射表,输出多个实体之间的上下游关系,所述预设实体映射表用于指示各所述实体所属的业务主体层级,在此过程中,由于实体抽取模型是根据多个样本语料训练获取的,因此,根据预设实体映射表,确定多个实体之间的上下游关系时,可以提高实体抽取和实体上下游关系的准确性;此外,相较于现有基于抽取规则抽取实体之间的上下游关系,本申请可以不受抽取规则的限定,使得可以提高抽取方法的泛化能力。6CN112632975A说 明 书4/10页附图说明[0055]为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。[0056]图1为本申请实施例提供的一种上下游关系的抽取方法的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 示意图;[0057]图2为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图;[0058]图3为本申请实施例提供的又一种上下游关系的抽取方法的流程示意图;[0059]图4为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图;[0060]图5为本申请实施例提供的又一种上下游关系的抽取方法的流程示意图;[0061]图6为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图;[0062]图7为本申请实施例提供的一种上下游关系的抽取装置的功能模块示意图;[0063]图8为本申请实施例提供的一种上下游关系的抽取装置的功能模块示意图;[0064]图9为本申请实施例提供的一种电子设备结构示意图。具体实施方式[0065]为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 。[0066]因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。[0067]应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。[0068]现有的,抽取企业之间的上下游关系时,主要是基于抽取规则进行抽取,其中,基于规则的抽取方法通常需要人工依据语言学规律进行 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 得到一些语言表达上的模式规则,因此,受制定规则的局限性,现有的抽取方式存在着泛化能力较差的问题。[0069]有鉴于此,本申请实施例提供一种上下游关系的抽取方法,该可以提高抽取方法的泛化能力,提高适用性。[0070]图1为本申请实施例提供的一种上下游关系的抽取方法的流程示意图,该方法的执行主体可以是计算机、服务器、处理器等可以进行数据处理的设备,如图1所示,该方法可以包括:[0071]S101、获取待分析文本语料,待分析文本语料包括多个实体,实体包括业务主体名称。[0072]待分析文本语料可以是任意待分析文本,比如,可以是一篇文章,一段话等,本申请在此不限定该待分析文本语料的内容长度,可选地,可以通过网络爬取技术在目标网站上爬取待分析文本语料,但不以此为限,所获取的待分析文本语料可以包括多个实体,该实7CN112632975A说 明 书5/10页体可以包括业务主体名称。可以理解的是,若将本申请用于获取企业上下游关系时,则上述业务主体名称可以理解为企业名称,但具体应用场景并不以此为限。[0073]S102、采用实体抽取模型抽取待分析文本语料中的多个实体。[0074]其中,实体抽取模型可以通过多个样本语料训练获取,可以理解的是,上述待分析文本语料中还可能包括其他非实体内容,则可以通过训练获取的该实体抽取模型抽取待分析文本语料中的多个实体,使得基于抽取的多个实体可以便于进一步分析该多个实体之间的上下游关系。[0075]可选地,实体抽取模型可以基于神经网络技术、自然语言处理技术等实现,当然,根据实际的应用场景也可以基于多种技术的结合实现,在此不作限定。[0076]S103、根据预设实体映射表,输出多个实体之间的上下游关系,预设实体映射表用于指示各实体所属的业务主体层级。[0077]其中,对于预设实体映射表来说,不同的场景下,业务主体层级可以理解为相应的含义,比如,若将本申请用于获取企业上下游关系时,对应地,预设实体映射表可以用于指示各企业的经营范围,但不以为限,比如,还可以指示应用领域等。因此,基于上述实施例的基础上,在抽取到待分析文本语料中的多个实体后,则可以根据该预设实体映射表,确定各实体所属的业务主体层级,进而根据各实体所属的业务主体层级,可以确定多个实体之间的上下游关系,也即对于多个实体中任意两个实体来说,可以确定其中的上游实体和下游实体。[0078]可选地,若将本申请实施例所提供的抽取方法用于获取企业上下游关系时,则上游实体可以对应上游企业,下游实体可以对应下游企业,而上游企业相对下游企业而言,可以指处于行业生产和业务的初始阶段的企业和厂家等,下游企业可以指对原材料进行深加工和改性处理,并将原材料转化为生产和生活中的实际产品的企业。可以理解的是,通过获取企业之间的上下游关系,可以对企业经营过程中可能存在的风险进行分析,辅助企业进行决策。[0079]综上,本申请实施例提供的上下游关系的抽取方法,通过获取待分析文本语料,待分析文本语料包括多个实体,实体包括业务主体名称;采用实体抽取模型抽取待分析文本语料中的多个实体,其中,实体抽取模型通过多个样本语料训练获取;根据预设实体映射表,输出多个实体之间的上下游关系,预设实体映射表用于指示各实体所属的业务主体层级,在此过程中,由于实体抽取模型是根据多个样本语料训练获取的,因此,根据预设实体映射表,确定多个实体之间的上下游关系时,可以提高实体抽取和实体上下游关系的准确性;此外,相较于现有基于抽取规则抽取实体之间的上下游关系,本申请可以不受抽取规则的限定,使得可以提高抽取方法的泛化能力。[0080]图2为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图,可选地,如图2所示,上述采用实体抽取模型抽取待分析文本语料中的多个实体,包括:[0081]S201、根据预设算法,在待分析文本语料中抽取目标待分析文本语料,目标待分析文本语料包括用于指示合作关系的预设关键词。[0082]S202、采用实体抽取模型抽取目标待分析文本语料中的多个实体。[0083]其中,若以句文本语料为划分单元,则待分析文本语料可能包括多句待分析文本语料,可以理解的是,可能存在某句待分析文本语料不包括实体的情况,因此,有必要将该8CN112632975A说 明 书6/10页句待分析文本语料筛选出来,也即,有必要在待分析文本语料中抽取目标待分析文本语料,该目标待分析文本语料可以包括用于指示合作关系的预设关键词,可以理解的是,该目标待分析文本语料将包括多个实体,进而采用实体抽取模型抽取该目标待分析文本语料中多个实体时,可以提高抽取的效率。[0084]可选地,用于指示合作关系的预设关键词可以包括但不限于:与、和、共同、一同、同时、协商、讨论、探讨、合作、协作、互助等关键词,本申请在此不作限定。可以理解的是,根据预设关键词,则可以对待分析文本语料进行初步筛选,从而筛选出可能存在实体的目标待分析文本语料,当然,具体筛选方式并不以此为限。[0085]在一些实施例中,上述预设算法可以基于正则表达式实现,也即通过正则表示式可以在待分析文本语料中抽取包含合作关系的目标待分析文本语料,当然,具体实现方式并不以此为限,根据实际的应用场景可以适应性调整。可以理解的是,相比于现有基于抽取规则抽取实体之间的上下游关系,应用本申请实施例,可以解决待分析文本语料中实体表达式多样,语料关系描述稀少而无法抽取到实体的问题。[0086]图3为本申请实施例提供的又一种上下游关系的抽取方法的流程示意图,可选地,如图3所示,上述根据预设实体映射表,输出多个实体之间的上下游关系,包括:[0087]S301、根据多个实体,确定业务主体实体对,其中,每个业务主体实体对包括2个实体,并存在合作关系。[0088]其中,抽取到待分析文本语料中的多个实体后,则可以进一步根据该多个实体确定业务主体实体对,所确定的业务主体实体对中两个主体之间可以存在合作关系,可以理解的是,通过业务主体实体对可以筛选掉多个实体中不存在相关关系的实体。[0089]S302、根据预设实体映射表,输出业务主体实体对中两个实体之间的上下游关系。[0090]基于上述业务主体实体对的确定,可以获取该业务主体实体对中的实体,进而根据所获取的实体和预设实体映射表,可以确定各实体所属的业务主体层级,从而可以输出业务主体实体对中两个实体之间的上下游关系。[0091]图4为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图。可选地,如图4所示,上述根据多个实体,确定业务主体实体对,包括:[0092]S401、根据多个实体,获取至少一个初始实体对。[0093]S402、根据至少一个初始实体对和预设分类模型,确定业务主体实体对。[0094]其中,预设分类模型根据多个样本实体对训练获取,每个样本实体对包括2个样本实体,并标注有是否存在合作关系的标签。[0095]其中,获取到多个实体后,则可以根据多个实体构建获取至少一个初始实体对,每个初始实体对可以包括2个实体,比如,对于多个实体(a,b,c),所获取的初始实体对可以包括(a,b)、(a,c)以及(b,c)。可以理解的是,对于初始实体对来说,可能某初始实体对中包括的两个实体并不存在合作关系,因此,有必要根据预设分类模型对该至少一个初始实体对进行筛选,使得通过筛选确定的业务主体实体对中的两个实体可以存在合作关系。[0096]可选地,上述预设分类模型可以基于梯度提升决策树(Gradient Boosting Decision Tree,GBDT)、双向Transformer的Encoder(Bidirectional Encoder Representation from Transformers,BERT)等实现,本申请在此不作限定。可理解的是,训练过程中,标注有合作关系的样本实体对可以作为正训练样本,不存在合作关系的样本实9CN112632975A说 明 书7/10页体对可以作为负训练样本,根据该正训练样本和负训练样本可以训练获取预设分类模型。[0097]可选地,上述方法还包括:[0098]获取多个样本语料,每个样本语料标注有至少一个样本实体;根据多个样本语料,训练获取实体抽取模型。[0099]其中,多个样本语料可以根据多个初始样本语料获取,可选地,对于初始样本语料来说,可以通过网络爬取技术在网站获取,可以理解的是,根据实际的应用场景,可以在相应的网站上获取,比如,若为激光行业,则可以在与激光相关的网站上获取,若为汽车行业,则可以在与汽车相关的网站上获取,在此不限定具体的应用场景。[0100]在获取到多个初始样本语料后,则可以标注该多个初始样本语料中的样本实体,获取标注后的多个初始样本语料作为多个样本语料,进而根据该多个样本语料可以训练获取实体抽取模型。[0101]图5为本申请实施例提供的又一种上下游关系的抽取方法的流程示意图。可选地,如图5所示,上述根据多个样本语料,训练获取实体抽取模型,包括:[0102]S501、采用预训练语言模型,提取每个样本语料的词嵌入表示。[0103]S502、根据每个样本语料的词嵌入表示,基于长短期记忆网络获取每个样本语料的语义特征信息。[0104]S503、根据每个样本语料的语义特征信息和条件随机场模型,训练获取实体抽取模型。[0105]在一些实施例中,实体抽取模型可以基于预训练语言模型、长短期记忆网络、条件随机场模型等相关技术实现。一种可能的实现方式中,对于多个样本语料来说,可以采用预训练语言模型(Bidirectional Encoder Representation from Transformers,BERT)提取每个样本语料中的词嵌入表示,可选地,该词嵌入表示可以用向量进行表示。其中,具体在进行提取时,BERT模型可以采用掩码语言模型(Masked Language Model,MLM)生成深度的双向语言表征,因此,所提取的词嵌入向量可以含有丰富的语义特征。[0106]在提取到每个样本语料的词嵌入表示后,则可以进一步基于BiLSTM(Bidirectional LSTM)获取各样本语料的语义特征信息,该语义特征信息可以用标注序列表示。其中,对于BiLSTM来说,Bi‑LSTM是长短期记忆网络(Long Short‑Term Memory,LSTM)的改进版本,其可以从正序和逆序两个时序角度获取样本语料中长文本的语义特征信息,具体实现时,BiLSTM可以借助存储单元的结构来保存较长的依赖关系,并且通过输入门、输出门和遗忘门来调整之前状态对当前存储单元状态的影响。[0107]但由于BiLSTM缺乏在整句层面的特征分析,因此,本申请还引入了条件随机场(Conditional Random Field,CRF)模型,CRF是一种序列标注模型,CRF可以通过标签之间的转移矩阵对Bi‑LSTM标注序列进行打分,从而得到最优的标注序列,进而根据该最优的标注序列可以对实体抽取模型进行优化调整,使得训练获取的实体抽取模型用于实体抽取时,可以提高抽取的准确性。其中,CRF可以进一步将序列标注的重点放在句子级别上,从而可以获得准确率较高的标注序列。[0108]综上,对于多个样本语料,可以通过BERT模型、BiLSTM模型以及CRF模型的结合,最终可以训练获得实体抽取模型,可以看出,在此过程中,由于可以充分利用各个模型的优点,因此训练获取的实体抽取模型用于待分析文本语料中多个实体的抽取时,可以提高实10CN112632975A说 明 书8/10页体抽取的准确性。[0109]图6为本申请实施例提供的另一种上下游关系的抽取方法的流程示意图。可选地,如图6所示,上述采用实体抽取模型抽取目标待分析文本语料中的多个实体,包括:[0110]S601、采用预训练语言模型,提取目标待分析文本语料的词嵌入表示。[0111]S602、根据目标待分析文本语料的词嵌入表示,基于长短期记忆网络获取目标待分析文本语料的语义特征信息。[0112]S603、根据目标待分析文本语料的语义特征信息,采用条件随机场模型获取目标待分析文本语料对应的目标标注序列。[0113]S604、根据目标标注序列,确定目标待分析文本语料中的多个实体。[0114]其中,基于前述实施例的相关说明,在训练获得实体抽取模型后,则可以采用该实体抽取模型抽取目标待分析文本语料中的多个实体。一种可能的实现方式,具体在进行抽取时,可以采用BERT模型,提取该目标待分析文本语料中的词嵌入表示,可选地,可以将该词嵌入表示用向量进行表示,获取到该词嵌入表示之后,则可以采用BiLSTM获取该目标待分析文本语料中的语义特征信息,可选地,可以将该语义特征信息用标注序列标识,进一步地,基于该目标待分析文本语料的语义特征信息,可以采用CRF获取该目标待分析文本语料的目标标注序列,根据该目标标注序列则可以确定目标待分析文本语料中的多个实体。相关内容可参见前述的相关说明,本申请在此不再赘述。[0115]图7为本申请实施例提供的一种上下游关系的抽取装置的功能模块示意图,该装置基本原理及产生的技术效果与前述对应的方法实施例相同,为简要描述,本实施例中未提及部分,可参考方法实施例中的相应内容。如图7所示,该上下游关系的抽取装置100,可以包括:[0116]获取模块110,用于获取待分析文本语料,待分析文本语料包括多个实体,实体包括业务主体名称;[0117]抽取模块120,用于采用实体抽取模型抽取待分析文本语料中的多个实体,其中,实体抽取模型通过多个样本语料训练获取;[0118]输出模块130,用于根据预设实体映射表,输出多个实体之间的上下游关系,预设实体映射表用于指示各实体所属的业务主体层级。[0119]在可选的实施方式中,抽取模块120,具体用于根据预设算法,在待分析文本语料中抽取目标待分析文本语料,目标待分析文本语料包括用于指示合作关系的预设关键词;采用实体抽取模型抽取目标待分析文本语料中的多个实体。[0120]在可选的实施方式中,输出模块130,具体用于根据多个实体,确定业务主体实体对,其中,每个业务主体实体对包括2个实体,并存在合作关系;根据预设实体映射表,输出业务主体实体对中两个实体之间的上下游关系。[0121]在可选的实施方式中,输出模块130,具体用于根据多个实体,获取至少一个初始实体对;根据至少一个初始实体对和预设分类模型,确定业务主体实体对,其中,预设分类模型根据多个样本实体对训练获取,每个样本实体对包括两个样本实体,并标注有是否存在合作关系的标签。[0122]图8为本申请实施例提供的一种上下游关系的抽取装置的功能模块示意图。在可选的实施方式中,如图8所示,上下游关系的抽取装置100还包括:训练模块150,用于获取多11CN112632975A说 明 书9/10页个样本语料,每个样本语料标注有至少一个样本实体;根据多个样本语料,训练获取实体抽取模型。[0123]在可选的实施方式中,训练模块150,具体用于采用预训练语言模型,提取每个样本语料的词嵌入表示;根据每个样本语料的词嵌入表示,基于长短期记忆网络获取每个样本语料的语义特征信息;根据每个样本语料的语义特征信息和条件随机场模型,训练获取实体抽取模型。[0124]在可选的实施方式中,抽取模块120,具体用于采用预训练语言模型,提取目标待分析文本语料的词嵌入表示;根据目标待分析文本语料的词嵌入表示,基于长短期记忆网络获取目标待分析文本语料的语义特征信息;根据目标待分析文本语料的语义特征信息,采用条件随机场模型获取目标待分析文本语料对应的目标标注序列;根据目标标注序列,确定目标待分析文本语料中的多个实体。[0125]上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。[0126]以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system‑on‑a‑chip,简称SOC)的形式实现。[0127]图9为本申请实施例提供的一种电子设备结构示意图。如图9所示,该电子设备可以包括:处理器210、存储介质220和总线230,存储介质220存储有处理器210可执行的机器可读指令,当电子设备运行时,处理器210与存储介质220之间通过总线230通信,处理器210执行机器可读指令,以执行上述方法实施例的步骤。具体实现方式和技术效果类似,这里不再赘述。[0128]可选地,本申请还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似,这里不再赘述。[0129]在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。[0130]作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0131]另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单12CN112632975A说 明 书10/10页元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。[0132]上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read‑Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。[0133]需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。[0134]以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。13CN112632975A说 明 书 附 图1/4页图1图2图314CN112632975A说 明 书 附 图2/4页图4图515CN112632975A说 明 书 附 图3/4页图6图716CN112632975A说 明 书 附 图4/4页图8图917
本文档为【上下游关系的抽取方法、装置、电子设备及存储介质】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: ¥10.0 已有0 人下载
最新资料
资料动态
专题动态
机构认证用户
掌桥科研
掌桥科研向科研人提供中文文献、外文文献、中文专利、外文专利、政府科技报告、OA文献、外军国防科技文献等多种科研资源的推广、发现、揭示和辅助获取服务,以及自动文档翻译、人工翻译、文档格式转换、收录引证等科研服务,涵盖了理、工、医、农、社科、军事、法律、经济、哲学等诸多学科和行业的中外文献资源。
格式:pdf
大小:721KB
软件:PDF阅读器
页数:17
分类:
上传时间:2022-01-25
浏览量:0