基于装置上训练的识别用户的方法和设备

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112446408A(43)申请公布日2021.03.05(21)申请号202010637175.9(22)申请日2020.07.03(30)优先权数据10-2019-01081992019.09.02KR10-2019-01272392019.10.14KR(71)申请人三星电子株式会社地址韩国京畿道水原市(72)发明人李焕　金圭洪　韩在濬　(74)专利代理机构北京铭硕知识产权代理有限公司11286代理人方成　张川绪(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06F21/32(2013.01)权利要求书4页 说明书 房屋状态说明书下载罗氏说明书下载焊机说明书下载罗氏说明书下载GGD说明书下载 13页附图12页(54)发明名称基于装置上训练的识别用户的方法和设备(57)摘要提供一种基于装置上训练的识别用户的方法和设备。一种基于装置上训练的用户识别方法包括：基于与广义用户对应的参考数据和用户数据对特征提取器执行装置上训练；基于来自特征提取器的响应于用户数据的输入的输出，确定注册特征向量；基于来自特征提取器的响应于测试数据的输入的输出，确定测试特征向量；以及基于将注册特征向量与测试特征向量进行比较的结果对测试用户执行用户识别。CN112446408ACN112446408A权　利　要　求　书1/4页1.一种识别方法，包括：接收由有效用户输入的用于用户注册的用户数据；基于用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练；基于来自特征提取器的响应于用户数据的输入的输出，确定注册特征向量；接收由测试用户输入的用于用户识别的测试数据；基于来自特征提取器的响应于测试数据的输入的输出，确定测试特征向量；以及基于将注册特征向量与测试特征向量进行比较的结果，对测试用户执行用户识别。2.根据权利要求1所述的识别方法，其中，特征提取器包括具有设定参数的第一神经网络和具有可调参数的第二神经网络，其中，第二神经网络的可调参数通过装置上训练进行调整。3.根据权利要求2所述的识别方法，其中，第一神经网络被预训练，以从基于大用户数据库的输入数据提取特征。4.根据权利要求1所述的识别方法，其中，执行装置上训练的步骤包括：分别向用户数据和参考数据分配不同值的标签；以及基于将所述标签与来自特征提取器的响应于用户数据和参考数据的输入的输出进行比较的结果，执行装置上训练。5.根据权利要求1所述的识别方法，其中，特征提取器包括具有设定参数的第一神经网络和具有可调参数的第二神经网络，其中，执行装置上训练的步骤包括：将用户数据输入到第一神经网络；向第二神经网络输入参考数据和来自第一神经网络的响应于用户数据的输入的输出；以及基于来自第二神经网络的输出执行装置上训练。6.根据权利要求1所述的识别方法，其中，参考数据包括与广义用户对应的广义特征向量，其中，通过将与多个广义用户对应的特征向量分组为簇来生成广义特征向量。7.根据权利要求1所述的识别方法，其中，执行用户识别的步骤包括：基于将注册特征向量与测试特征向量之间的距离与阈值进行比较的结果来执行用户识别。8.根据权利要求7所述的识别方法，其中，基于注册特征向量与测试特征向量之间的余弦距离和注册特征向量与测试特征向量之间的欧式距离中的一个，确定注册特征向量与测试特征向量之间的距离。9.根据权利要求1所述的识别方法，还包括：将确定的注册特征向量存储在注册用户数据库中。10.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使得处理器执行根据权利要求1所述的识别方法。11.一种识别方法，包括：获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器；2CN112446408A权　利　要　求　书2/4页基于与有效用户对应的用户数据和与广义用户对应的参考数据，对特征提取器执行装置上训练；以及当装置上训练完成时，使用特征提取器对测试数据执行用户识别。12.根据权利要求11所述的识别方法，其中，第二神经网络的可调参数通过装置上训练进行调整。13.根据权利要求11所述的识别方法，其中，执行装置上训练的步骤包括：将用户数据输入到第一神经网络；向第二神经网络输入参考数据和来自第一神经网络的响应于用户数据的输入的输出；以及基于来自第二神经网络的输出执行装置上训练。14.一种用于设置在用户装置中的特征提取器的装置上训练方法，所述特征提取器包括具有设定参数的预训练的第一神经网络和具有可调参数的第二神经网络，所述装置上训练方法包括：获得由有效用户输入的用户数据；将用户数据输入到第一神经网络；以及通过向第二神经网络输入预设参考数据和来自第一神经网络的响应于用户数据的输入的输出，调节第二神经网络的可调参数。15.根据权利要求14所述的装置上训练方法，其中，参考数据包括1000个或更少的特征向量。16.根据权利要求14所述的装置上训练方法，其中，参考数据包括500个或更少的特征向量。17.根据权利要求14所述的装置上训练方法，其中，参考数据包括100个或更少的特征向量。18.根据权利要求14所述的装置上训练方法，其中，参考数据包括与广义用户对应的广义特征向量。19.根据权利要求18所述的装置上训练方法，其中，通过将与多个广义用户对应的特征向量分组为簇来生成广义特征向量。20.一种识别设备，包括：处理器；以及存储器，包括能够在处理器中执行的指令，其中，当所述指令由处理器执行时，处理器被配置为：接收由有效用户输入的用于用户注册的用户数据；基于用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练；基于来自特征提取器的响应于用户数据的输入的输出，确定注册特征向量；接收由测试用户输入的用于用户识别的测试数据；基于来自特征提取器的响应于测试数据的输入的输出，确定测试特征向量；以及基于将注册特征向量与测试特征向量进行比较的结果，对测试用户执行用户识别。21.根据权利要求20所述的识别设备，其中，特征提取器包括具有设定参数的第一神经网络和具有可调参数的第二神经网络，并且3CN112446408A权　利　要　求　书3/4页其中，第二神经网络的可调参数通过装置上训练进行调整。22.根据权利要求21所述的识别设备，其中，第一神经网络被预训练，以从基于大用户数据库的输入数据提取特征。23.根据权利要求20所述的识别设备，其中，处理器被配置为：分别为用户数据和参考数据分配不同值的标签；以及基于将所述标签与来自特征提取器的响应于用户数据和参考数据的输入的输出进行比较的结果，执行装置上训练。24.根据权利要求20所述的识别设备，其中，特征提取器包括具有设定参数的第一神经网络和具有可调参数的第二神经网络，并且其中，处理器被配置为：将用户数据输入到第一神经网络；向第二神经网络输入参考数据和来自第一神经网络的响应于用户数据的输入的输出；以及基于来自第二神经网络的输出执行装置上训练。25.根据权利要求20所述的识别设备，其中，参考数据包括与广义用户对应的广义特征向量，其中，通过将与多个广义用户对应的特征向量分组为簇来生成广义特征向量。26.根据权利要求20所述的识别设备，其中，处理器被配置为：基于将注册特征向量与测试特征向量之间的距离与阈值进行比较的结果来执行用户识别。27.根据权利要求26所述的识别设备，其中，基于注册特征向量与测试特征向量之间的余弦距离和注册特征向量与测试特征向量之间的欧式距离中的一个，确定注册特征向量与测试特征向量之间的距离。28.根据权利要求20所述的识别设备，其中，处理器被配置为：将确定的注册特征向量存储在注册用户数据库中。29.一种识别设备，包括：处理器；以及存储器，包括能够在处理器中执行的指令，其中，当所述指令由处理器执行时，处理器被配置为：获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器；基于与有效用户对应的用户数据和与广义用户对应的参考数据，对特征提取器执行装置上训练；以及当装置上训练完成时，使用特征提取器对测试数据执行用户识别。30.根据权利要求29所述的识别设备，其中，第二神经网络的可调参数通过装置上训练进行调整。31.根据权利要求29所述的识别设备，其中，处理器被配置为：将用户数据输入到第一神经网络；向第二神经网络输入参考数据和来自第一神经网络的响应于用户数据的输入的输出；4CN112446408A权　利　要　求　书4/4页以及基于来自第二神经网络的输出执行装置上训练。32.一种识别方法，包括：在服务器端对特征提取器的第一神经网络进行预训练；在第一神经网络被预训练之后，将特征提取器设置到装置；使用输入到装置的数据在装置上对特征提取器的第二神经网络进行训练；以及使用特征提取器对输入到装置的测试数据执行用户识别。33.根据权利要求32所述的识别方法，其中，输入到装置的数据包括由有效用户输入的用于用户注册的用户数据以及与广义用户对应的参考数据。34.根据权利要求33所述的识别方法，还包括：通过将对应于用户数据的注册特征向量与对应于测试数据的测试特征向量进行比较来执行用户识别。5CN112446408A说　明　书1/13页基于装置上训练的识别用户的方法和设备[0001]本申请要求于2019年9月2日提交到韩国知识产权局的第10-2019-0108199号韩国专利申请和于2019年10月14日提交到韩国知识产权局的第10-2019-0127239号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。技术领域[0002]以下描述涉及一种基于装置上训练(on-device training-based)的用户识别方法和设备。背景技术[0003]例如，识别的技术自动化已经通过作为专用计算 架构 酒店人事架构图下载公司架构图下载企业应用架构模式pdf监理组织架构图免费下载银行管理与it架构pdf 的处理器实现的神经网络模型实现，该神经网络模型在经过大量训练之后可在输入模式与输出模式之间提供计算上直观的映射。产生这样的映射的训练能力可称为神经网络的学习能力。此外，由于专门的训练，这样的经过特殊训练的神经网络因此可具有针对例如神经网络可能尚未训练的输入模式生成相对准确的输出的泛化能力。发明内容[0004]提供本发明内容，以便以简化的形式介绍将在下面的具体实施方式中进一步描述的概念的选择。本发明内容不意图确定要求保护的主题的关键特征或必要特征，也不意图用于帮助确定要求保护的主题的范围。[0005]在一个总体方面，一种识别方法包括：接收由有效用户输入的用于用户注册的用户数据；基于用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练；基于来自特征提取器的响应于用户数据的输入的输出，确定注册特征向量；接收由测试用户输入的用于用户识别的测试数据；基于来自特征提取器的响应于测试数据的输入的输出，确定测试特征向量；以及基于将注册特征向量与测试特征向量进行比较的结果，对测试用户执行用户识别。[0006]特征提取器可包括具有设定参数的第一神经网络和具有可调参数的第二神经网络。第二神经网络的可调参数可通过装置上训练进行调整。第一神经网络可被预训练，以从基于大用户数据库(DB)的输入数据提取特征。执行装置上训练的步骤可包括：分别向用户数据和参考数据分配不同值的标签；以及基于将所述标签与来自特征提取器的响应于用户数据和参考数据的输入的输出进行比较的结果，执行装置上训练。[0007]特征提取器可包括具有设定参数的第一神经网络和具有可调参数的第二神经网络。执行装置上训练的步骤可包括：将用户数据输入到第一神经网络；向第二神经网络输入参考数据和来自第一神经网络的响应于用户数据的输入的输出；以及基于来自第二神经网络的输出执行装置上训练。参考数据可包括与广义用户对应的广义特征向量。可通过将与多个广义用户对应的特征向量分组为簇来生成广义特征向量。[0008]执行用户识别的步骤可包括：基于将注册特征向量与测试特征向量之间的距离与6CN112446408A说　明　书2/13页阈值进行比较的结果来执行用户识别。基于注册特征向量与测试特征向量之间的余弦距离和注册特征向量与测试特征向量之间的欧式距离中的一个，确定注册特征向量与测试特征向量之间的距离。当确定了注册特征向量时，所述识别方法还可包括：将确定的注册特征向量存储在注册用户数据库中。[0009]在另一总体方面，一种识别方法包括：获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器；基于与有效用户对应的用户数据和与广义用户对应的参考数据，对特征提取器执行装置上训练；以及当装置上训练完成时，使用特征提取器对测试数据执行用户识别。[0010]在另一总体方面，一种用于设置在用户装置中的特征提取器的装置上训练方法，所述特征提取器包括被预训练并具有设定参数的第一神经网络和具有可调参数的第二神经网络，所述装置上训练方法包括：获得由有效用户输入的用户数据；将用户数据输入到第一神经网络；以及通过向第二神经网络输入预设参考数据和来自第一神经网络的响应于用户数据的输入的输出，调节第二神经网络的可调参数。[0011]参考数据可包括1000个或更少的特征向量、500个或更少的特征向量或100个或更少的特征向量。[0012]在另一总体方面，一种识别设备包括：处理器；以及存储器，包括能够在处理器中执行的指令。当所述指令由处理器执行时，处理器可被配置为：接收由有效用户输入的用于用户注册的用户数据；基于用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练；基于来自特征提取器的响应于用户数据的输入的输出，确定注册特征向量；接收由测试用户输入的用于用户识别的测试数据；基于来自特征提取器的响应于测试数据的输入的输出，确定测试特征向量；以及基于将注册特征向量与测试特征向量进行比较的结果，对测试用户执行用户识别。[0013]在另一总体方面，一种识别设备包括：处理器；以及存储器，包括能够在处理器中执行的指令。当所述指令由处理器执行时，处理器可被配置为：获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器；基于与有效用户对应的用户数据和与广义用户对应的参考数据，对特征提取器执行装置上训练；以及当装置上训练完成时，使用特征提取器对测试数据执行用户识别。[0014]在另一总体方面，一种方法包括：在服务器端对特征提取器的第一神经网络进行预训练；在第一神经网络被预训练之后，将特征提取器设置到装置；使用输入到装置的数据在装置上对特征提取器的第二神经网络进行训练；以及使用特征提取器对输入到装置的测试数据执行用户识别。[0015]输入到装置的数据可包括由有效用户输入的用于用户注册的用户数据以及与广义用户对应的参考数据。[0016]所述方法可包括：通过将对应于用户数据的注册特征向量与对应于测试数据的测试特征向量进行比较来执行用户识别。[0017]从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。附图说明[0018]图1是示出将由识别设备执行的用于用户登记和用户识别的操作的示例的示图。7CN112446408A说　明　书3/13页[0019]图2是示出将被执行的用于预训练、用户注册和用户识别的处理的示例的示图。[0020]图3是示出预训练的示例的示图。[0021]图4是示出将由识别设备执行的用于装置上训练和用户注册的操作的示例的示图。[0022]图5是示出装置上训练的示例的示图。[0023]图6是示出生成广义用户模型(generalized user model)的示例的示图。[0024]图7是示出将由识别设备执行的用于用户识别的操作的示例的示图。[0025]图8和图9是示出基于装置上训练的特征向量的分布的变化的示例的示图。[0026]图10是示出基于装置上训练的识别方法的示例的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图。[0027]图11是示出基于装置上训练的识别方法的另一示例的流程图。[0028]图12是示出基于装置上训练的识别设备的示例的示图。[0029]图13是示出用户装置的示例的示图。[0030]贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。具体实施方式[0031]提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开内容之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作顺序仅是示例，并且不限于在此阐述的操作顺序，而是除了必须以特定顺序发生的操作之外，操作顺序可如在理解本申请的公开之后清楚地那样改变。此外，为了更加清楚和简明，可省略在理解本申请的公开之后已知的特征的描述。[0032]在此描述的特征可以以不同形式来实现，并且不被解释为限于在此描述的示例。相反，已提供在此描述的示例以仅示出实现这里描述的方法、设备和/或系统的许多可能的方式中的一些方式，所述许多可能的方式在理解本申请的公开之后将是清楚的。[0033]贯穿说明书，当诸如层、区域或基底的元件被描述为“在”另一元件“上”、“连接到”或“结合到”另一元件时，所述元件可直接“在”所述另一元件“上”、直接“连接到”或直接“结合到”所述另一元件，或者在它们之间可存在一个或多个其他元件。相反，当元件被描述为“直接在”另一元件“上”、“直接连接到”或“直接结合到”另一元件时，在它们之间可不存在其他元件。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。[0034]尽管诸如“第一”、“第二”和“第三”的术语可在此用于描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。[0035]在此使用的术语仅用于描述各种示例，并不用于限制本公开。除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。术语“包含”、“包括”和“具有”说明存在阐述8CN112446408A说　明　书4/13页的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。[0036]除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义和基于理解本申请的公开之后通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文和本申请的公开中的含义一致的含义，并且不被理想化或过于形式化地解释。[0037]此外，在示例的描述中，当认为在理解本申请的公开之后由此已知的结构或功能的详细描述将导致对示例的模糊解释时，将省略这样的描述。[0038]在下文中，将参照附图详细描述示例，并且在附图中，相同的参考标号始终表示相同的元件。[0039]图1是示出将由识别设备执行的用于用户注册和用户识别的操作的示例的示图。参照图1，识别设备110基于有效用户101的用户数据在识别设备110中注册有效用户101。有效用户101可以是一个或多个用户，并且一个或多个用户可在识别设备110中注册。有效用户101可以是具有使用识别设备110的权利的人(例如，其中设置或嵌入有识别设备110的装置的所有者或管理员)。有效用户101也可被称为真实用户(genuine user)。在识别设备110中注册有效用户101在此可被称为用户注册处理。通过用户注册处理，有效用户101的标识信息(例如，注册特征向量)存储在识别设备110或与识别设备110相关联的另一设备或装置中。当通过用户注册处理注册了有效用户101时，有效用户101可随之被称为注册用户。[0040]测试用户102可以是尚未被辨识的未辨识者，并且测试用户102尝试通过识别设备110进行用户识别以使用识别设备110。测试用户102可以是有效用户101，或者是指示没有使用识别设备110的权利的人的冒名顶替者。识别设备110可通过将测试用户102的测试数据与用户数据进行比较来对测试用户102执行用户识别。对测试用户102执行用户识别在此可被称为用户识别处理。可在执行用户注册处理之后执行用户识别处理。[0041]用户识别可包括用户验证和用户辨识。可执行用户验证以确定测试用户102是否是注册用户，并且可执行用户辨识以确定多个用户中的哪一个是测试用户102。例如，当存在多个注册用户并且测试用户102是多个注册用户中的一个时，可执行用户辨识来确定与测试用户102对应的一个注册用户。[0042]用户识别的结果(在此简称为“识别结果”)可包括用户验证的结果(验证结果)和用户辨识的结果(辨识结果)中的至少一个。例如，当测试用户102是注册用户时，识别设备110可输出与成功识别对应的验证结果。在这个示例中，当存在多个注册用户时，识别结果可包括指示多个注册用户中的哪一个与测试用户102对应的辨识结果。然而，当测试用户102是冒名顶替者时，识别设备110可输出与不成功识别对应的验证结果。[0043]用户数据可与有效用户101相关联，并且测试数据可与测试用户102相关联。用户数据可由有效用户101输入到识别设备110，用户数据可被输入到包括识别设备110的另一设备或装置以被传送到识别设备110，或者用户数据可被输入到与识别设备110分开的另一设备或装置以被传送到识别设备110。类似地，测试数据可由测试用户102输入到识别设备110，测试数据可被输入到包括识别设备110的另一设备或装置以被传送到识别设备110，或者测试数据可被输入到与识别设备110分开的另一设备或装置以被传送到识别设备110。9CN112446408A说　明　书5/13页[0044]输入到识别设备110的数据(诸如，用户数据和测试数据)可被称为输入数据。输入数据可包括语音或图像。例如，在说话者识别的情况下，输入数据可包括话音、语音或音频。在面部识别的情况下，输入数据可包括面部图像。在指纹识别的情况下，输入数据可包括指纹图像。在虹膜识别的情况下，输入数据可包含虹膜图像。识别设备110可基于这样的各种验证方法中的至少一种来执行用户验证。用户数据、测试数据、参考数据和训练数据中的每一个的模态(modality)可对应于识别设备110使用的至少一种验证方法。在下文中，为了便于描述，将关于说话者识别来描述示例。然而，示例也可应用于除了说话者识别之外的其他验证方法。[0045]识别设备110可使用特征提取器120来执行用户识别。特征提取器120包括神经网络(例如，第一神经网络121和第二神经网络122)。神经网络的至少一部分可由软件、包括神经处理器的硬件或它们组合来实现。例如，神经网络可以是包括例如全连接网络、深度卷积网络和循环神经网络(RNN)的深度神经网络(DNN)。DNN可包括包含输入层、至少一个隐藏层和输出层的多个层。[0046]神经网络可被训练为通过基于深度学习映射处于非线性关系的输入数据和输出数据来执行给定操作。深度学习可以是将基于大数据集被执行以解决给定问题的一种类型的机器学习。深度学习可被解释为寻找能量在其被最小化的点的优化过程。通过深度学习的有监督学习或无监督学习，可获得与神经网络的架构或模型对应的权重，并且可通过如前所述那样获得的权重将输入数据和输出数据彼此映射。虽然特征提取器120在图1中被示出为位于识别设备110的外部，但是特征提取器120可位于识别设备110的内部。[0047]识别设备110可将输入数据输入到特征提取器120，并且响应于输入数据的输入，在识别设备110中注册用户或者基于来自特征提取器120的输出来生成识别结果。在一个示例中，识别设备110可将预处理应用于输入数据，并且将通过应用预处理而获得的输入数据输入到特征提取器120。通过预处理，输入数据可被改变为适合于特征提取器120从其提取特征的形式。例如，当输入数据对应于音频波时，可通过预处理将音频波转换为频谱。[0048]特征提取器120可响应于输入数据的输入而输出输出数据。特征提取器120的输出数据在此可被称为特征向量。可选地，特征提取器120的输出数据也可被称为嵌入向量，嵌入向量指示输出数据包括用户的标识信息。在针对有效用户101的用户注册处理中，特征提取器120可响应于用户数据的输入而输出特征向量。输出的特征向量在此可被称为注册特征向量，并且作为有效用户101的标识信息存储在识别设备110或与识别设备110相关联的另一设备或装置中。在针对测试用户102的用户识别处理中，特征提取器120可响应于测试数据的输入而输出特征向量。输出的特征向量在此可被称为测试特征向量。[0049]识别设备110可通过将注册特征向量与测试特征向量进行比较来生成识别结果。例如，识别设备110可确定注册特征向量与测试向量之间的距离，并且基于将确定的距离与阈值进行比较的结果来生成识别结果。在这个示例中，当确定的距离小于阈值时，注册特征向量和测试特征向量可被表示为彼此匹配，当确定的距离不小于阈值时，注册特征向量和测试特征向量可被表示为彼此不匹配。[0050]例如，当存在多个注册用户时，可存在针对每个注册用户的多个注册特征向量。在这个示例中，识别设备110可通过将测试特征向量与每个注册特征向量进行比较来生成识别结果。当测试特征向量与注册特征向量中的一个匹配时，识别设备110可输出与成功识别10CN112446408A说　明　书6/13页对应的识别结果。识别结果可包括与对应于匹配测试特征向量的注册特征向量的注册用户相关联的辨识结果。例如，识别结果可包括与对应于测试用户102的注册用户之一相关联的辨识结果。[0051]特征提取器120包括第一神经网络121和第二神经网络122。第一神经网络121可基于大用户数据库(DB)(也可被称为非特定一般用户数据库)被预训练或者预先训练，第二神经网络122可基于用户注册处理中的用户数据另外训练。这里，术语“预”或“预先”可指示在执行用户注册处理之前的时间点(例如，特征提取器120的开发和生产的时间点)。大用户数据库可对应于非特定的一般用户，并且用户数据可对应于特定用户(例如，有效用户101)。在一个示例中，第一神经网络121的训练可由服务器在特征提取器120的开发和生产的步骤中执行，并且被称为预训练或第一训练。另外，第二神经网络122的训练可由包括识别设备110的设备或装置在用户注册处理中执行，并且被称为装置上训练或第二训练。这里，术语“装置上训练”中的“装置”可指示其中设置或嵌入有识别设备110的用户装置。[0052]第一神经网络121可具有设定参数，第二神经网络122可具有可调参数。在此使用的参数可包括权重。当第一神经网络121通过预训练被训练时，第一神经网络121的参数可被设定，并且不通过装置上训练而改变。参数被设定也可被描述为参数被冻结，设定参数也可被称为冻结参数。第二神经网络122的参数可通过装置上训练来调整。第一神经网络121可以以一般方式从输入数据提取特征，并且第二神经网络122可重新映射由第一神经网络121提取的特征，使得该特征对于个体装置的用户是特定的。[0053]在用户识别中，训练数据与实际用户数据之间的不匹配可能导致差的识别性能。例如，实际用户数据不会用于第一神经网络121的预训练，因此仅包括第一神经网络121的特征提取器120的识别性能的水平可能不是满意的。然而，在这个示例中，第二神经网络122的装置上训练可基于实际用户数据来执行，因此可帮助减少这种不匹配。例如，当使用仅被应用预训练的一般特征提取器时，可能不容易辨识具有类似特征的用户(例如，家庭成员)。然而，当使用在此描述的特征提取器120时，每个用户的实际用户数据可用于装置上训练，因此，具有相似特征的多个用户可相对准确地被辨识。[0054]另外，对于装置上训练，除了用户数据之外，还可使用与广义用户(generalized user)对应的参考数据。例如，广义用户可被理解为非特定一般用户中的典型用户或代表性用户。通过使用用户数据和参考数据的装置上训练，特征提取器120可从用户数据提取与参考数据中的特征相区别的特征。由此，能够更准确地辨识冒名顶替者的特征向量和注册用户的特征向量，从而提高识别性能。在下文中将更详细地描述使用用户数据和参考数据的装置上训练。[0055]图2是示出将被执行的用于预训练、用户注册和用户识别的处理的示例的示图。参考图2，在操作210中，执行预训练。可基于对应于非特定一般用户的大用户数据库来执行预训练。通过预训练，可训练特征提取器200的第一神经网络201。预训练可在服务器端执行。在操作210被执行之后，特征提取器200可被设置或嵌入在装置中并且被分发给用户。[0056]在操作220中，当用户数据由有效用户输入以用于用户注册时，装置上训练被执行。在操作230中，执行用户注册。操作220和230可统称为用户注册处理。装置上训练可在用户注册处理中执行。可基于对应于特定用户(例如，有效用户)的用户数据和对应于广义用户的参考数据来执行装置上训练。通过装置上训练，特征提取器200的第二神经网络202被11CN112446408A说　明　书7/13页训练。在执行装置上训练之前，可通过单位矩阵(identity matrix)对第二神经网络202进行初始化。[0057]在操作220被执行之后，特征提取器200可变得专用于注册用户。在操作230中，在装置上训练完成之后，有效用户的用户数据被输入到特征提取器200。基于来自特征提取器200的响应于用户数据的输入的输出来确定注册特征向量。当确定了注册特征向量时，将确定的注册特征向量存储在注册用户数据库中。[0058]在操作240中，执行用户识别。这里，操作240可被称为用户识别处理。在这个操作中，由测试用户输入的用于用户识别的测试数据被输入到特征提取器200，并且测试特征向量基于特征提取器200的响应于测试数据的输入的输出来确定。基于将注册特征向量与测试特征向量进行比较的结果，对测试用户执行用户识别。可由装置执行操作220到240。[0059]图3是示出预训练的示例的示图。参照图3，训练设备310使用大用户数据库320来训练神经网络330，以从输入数据提取特征。例如，大用户数据库320可包括与多个非特定一般用户相关联的训练数据，并且标签可被分配给每个或每组训练数据。训练数据可包括语音或图像。例如，在说话者识别的情况下，输入数据可包括话音、语音或音频。[0060]神经网络330包括输入层331、至少一个隐藏层332和输出层333。例如，输入层331可对应于训练数据，并且输出层333可对应于激活函数(诸如，柔性最大(Softmax))。通过神经网络330的预训练，可调整隐藏层332的参数(例如，权重)。当分配标签时，可将不同的标签分配给各个训练数据，通过基于标签和训练数据的预训练，神经网络330可响应于不同的输入数据而输出不同的输出数据。例如，可将不同的标签分配给各个组的训练数据，通过基于标签和训练数据的预训练，神经网络330可响应于不同的组的输入数据而输出不同的组的输出数据。神经网络330的这种能力可被解释为特征提取功能。[0061]例如，第一标签可被分配给第一训练数据，并且第二标签可被分配给第二训练数据。在这个示例中，神经网络330可对第一训练数据的输入进行响应并输出第一输出数据，并且对第二训练数据的输入进行响应并输出第二输出数据。然后训练设备310可将第一输出数据与第一标签进行比较，并且调整隐藏层332的参数，使得第一输出数据和第一标签可变得彼此相同。类似地，训练设备310可将第二输出数据与第二标签进行比较，并且调整隐藏层332的参数，使得第二输出数据和第二标签可变得彼此相同。训练设备310可通过基于大用户数据库320重复上述这样的处理来预训练神经网络330。[0062]在一个示例中，可通过批处理单元(batch unit)执行训练处理。例如，可通过批处理单元执行将训练数据输入到神经网络330并且获得与来自神经网络330的响应于训练数据的输入的输出对应的输出数据的处理(例如，可通过批处理单元执行将一组训练数据输入到神经网络330并且获得与来自神经网络330的响应于训练数据的输入的输出对应的一组输出数据的处理)，并且可通过由批处理单元重复这样的处理来执行使用大用户数据库320的预训练。[0063]输出层333可将从隐藏层332输出的特征向量转换为与标签对应的形式。通过预训练，隐藏层332的参数可被设定为适合于训练目标的值，并且当预训练完成时，隐藏层332的参数可被设定或固定。随后，可从神经网络330移除输出层333，并且可使用包括输入层331和隐藏层332的部分340来配置特征提取器的第一神经网络。[0064]当预训练完成时，神经网络330可执行特征提取功能，以响应于不同的输入数据而12CN112446408A说　明　书8/13页输出不同的输出数据，例如，响应于不同的组的输入数据而输出不同的组的输出数据。当训练数据与用户注册处理和用户识别处理中使用的实际数据相同时，这种特征提取功能可表现出最大性能。然而，训练数据和实际数据通常可彼此不同。仅在理论上可通过将实际数据包括在训练数据中并执行再训练来减少训练数据与实际数据之间的不匹配，以提高识别性能。[0065]然而，可能需要使用大用户数据库320来训练神经网络330，直到神经网络330具有特征提取功能为止，并且这样的训练可能需要大量的计算资源。通常，用户装置可具有有限的计算资源，因此，这样的训练可在大规模服务器端处执行。因此，根据一个示例，提供了一种包括预训练和装置上训练的双重训练方法。双重训练方法可通过使用大用户数据库320训练神经网络330来生成特征提取器的第一神经网络，并且基于实际数据来生成特征提取器的第二神经网络。因此，可减少或最小化训练数据与实际数据之间的不匹配，并且提供专用于用户装置的特征提取器。[0066]图4是示出将由识别设备执行的用于装置上训练和用户注册的操作的示例的示图。参照图4，有效用户输入用于用户注册的用户数据。识别设备410基于用户数据对特征提取器420执行装置上训练。特征提取器420包括第一神经网络421和第二神经网络422。第一神经网络421的参数可通过预训练来设定或固定，并且第二神经网络422的参数可通过装置上训练来调整。对于装置上训练，可使用参考数据。识别设备410从广义用户模型430获得参考数据，并且将获得的参考数据输入到第二神经网络422。用户数据可对应于有效用户，参考数据可对应于广义用户。下面将更详细地描述广义用户模型430。[0067]识别设备410通过向每个或每组用户数据和参考数据分配不同的标签，并且对标签和来自特征提取器420的响应于用户数据和参考数据的输入的输出进行比较，来调整第二神经网络422的参数。例如，可调整第二神经网络422的参数，使得特征提取器420的响应于用户数据的输入的输出(即，第二神经网络422的输出)变得与分配给用户数据的标签相同，特征提取器420的响应于参考数据的输入的输出(即，第二神经网络422的输出)变得与分配给参考数据的标签相同。如上所述，识别设备410可训练特征提取器420，使得特征提取器420可输出分别对应于用户数据和参考数据的不同特征向量。通过使用用户数据和参考数据来训练特征提取器420，可更准确地辨识注册用户的注册特征向量，并且更准确地辨识注册用户的注册特征向量和冒名顶替者的特征向量。因此，通过装置上训练，特征提取器420可具有辨识每个注册用户的辨识能力，以及区分注册用户和冒名顶替者并验证注册用户的验证能力。[0068]当装置上训练完成时，识别设备410将用户数据输入到特征提取器420，并且获得从特征提取器420输出的响应于用户数据的输入的特征向量。识别设备410将由特征提取器420输出的特征向量作为注册特征向量存储在注册用户数据库440中。注册特征向量可随后用于用户识别处理。[0069]图5是示出装置上训练的示例的示图。参照图5，识别设备510使用用户数据和参考数据对特征提取器520执行装置上训练。用户数据被输入到第一神经网络521，并且参考数据被输入到第二神经网络522。参考数据是从广义用户模型540获得的。识别设备510将用户数据输入到第一神经网络521。当第一神经网络521对用户数据的输入进行响应并输出特征向量时，识别设备510将输出的特征向量输入到第二神经网络522。可使用被配置为类似于13CN112446408A说　明　书9/13页第一神经网络521来执行特征提取的神经网络生成参考数据。可解释为：来自第一神经网络521的输出从第一神经网络521被输入到第二神经网络522，而不受识别设备510的控制。[0070]第二神经网络522可通过对图3的神经网络330执行的类似处理来训练。可解释为：图3的训练数据被替换为图5的示例中的与用户数据对应的特征向量和参考向量。第二神经网络522包括输入层523、至少一个隐藏层524和输出层525。例如，输入层523可与包括与用户数据和参考数据对应的特征向量的输入数据对应，并且输出层525可与激活函数(诸如，柔性最大)对应。隐藏层524的参数(例如，权重)可通过装置上训练来调整。例如，可调整隐藏层524的参数，使得特征提取器420的响应于用户数据的输入的输出(即，第二神经网络522的输出)变得与分配给用户数据的标签相同，特征提取器420的响应于参考数据的输入的输出(即，第二神经网络522的输出)变得与分配给参考数据的标签相同。可使用包括输入层523和隐藏层524的部分530来构造第二神经网络522。[0071]可向用户数据和参考数据的每个分配标签。通过基于用户数据、参考数据和分配给各个数据的不同标签的装置上训练，特征提取器520可变得能够响应于不同的用户数据和参考数据而输出不同的输出数据。例如，可向用户数据和参考数据的每个组分配标签。通过基于用户数据、参考数据和分配给各个组的数据的不同标签的装置上训练，特征提取器520可变得能够响应于不同的组的用户数据和参考数据而输出不同的组的输出数据。例如，第一神经网络521可以以一般方式从输入数据提取特征，而第二神经网络522可重新映射由第一神经网络521提取的特征，使得该特征变得专用于个体装置的用户。[0072]在一个示例中，可通过批处理单元执行训练处理。例如，可通过批处理单元执行将用户数据和参考数据输入到特征提取器520并且获得与来自特征提取器520的输出对应的输出数据的处理(例如，可通过批处理单元执行将用户数据和参考数据中的一个或一组输入到特征提取器520并且获得与来自特征提取器520的输出对应的一个或一组输出数据的处理)，并且可通过经由批处理单元重复这样的处理来执行使用用户数据和参考数据的装置上训练。当装置上训练完成时，隐藏层524的参数可被设定或固定。随后，输出层525可从第二神经网络522被移除，并且第二神经网络522可在输出层525从其被移除的情况下被确定或决定。[0073]通过如上所述的装置上训练，可减少或最小化训练数据与实际数据之间的不匹配。例如，可提高通过用户数据辨识注册特征向量的辨识能力，以及通过参考数据来辨识或区分注册特征向量和冒名顶替者的特征向量的验证能力。[0074]图6是示出生成广义用户模型的示例的示图。参照图6，输入数据从大用户数据库610被提取，并被输入到神经网络620。例如，神经网络620可对应于图4的第一神经网络421，并且神经网络620可基于输入数据输出特征向量。大用户数据库610可与图3的大用户数据库320相同或不同。[0075]在图6的示例中，由神经网络620输出的特征向量由向量平面630上的小圆圈指示。这些特征向量可对应于包括在大用户数据库610中的多个广义用户，并且也被称为基本特征向量。作为表示基本特征向量的向量，可选择典型特征向量(例如，θ1，θ2，…，θc)。例如，可通过将基本特征向量分组为簇(cluster)来选择典型特征向量θ1，θ2，…，θc(例如，从分组得到的簇中的部分或全部簇中的每个选择一个或多个特征向量作为典型特征向量)。典型特征向量θ1，θ2，…，θc可对应于广义用户，并且也被称为广义特征向量。另外，典型特征向量14CN112446408A说　明　书10/13页θ1，θ2，…，θc可作为参考数据被包括在广义用户模型640中，并且用于装置上训练。例如，可存在数十个或数百个这样的典型特征向量。例如，典型特征向量的数量可以是1000或更少、500或更少、或者100或更少。典型特征向量可对应于用户装置实际地或真实地通过深度学习或训练所处理的数据。例如，可从大约十万个用户中的每个收集10个话语或语音，并且可配置包括大约一百万个话语或语音的数据库。基于该数据库，可生成大约100个典型特征向量。[0076]图7是示出将由识别设备执行的用于用户识别的操作的示例的示图。参照图7，识别设备710将测试数据输入到特征提取器720。在图7的示例中，特征提取器720处于装置上训练完成的状态。特征提取器720响应于测试数据的输入而输出测试特征向量。测试数据可由测试用户在用户验证处理中输入。测试用户可以是试图通过识别设备710进行用户识别以使用识别设备710的未经辨识的人。测试用户可以是有效用户或冒名顶替者。[0077]识别设备710从注册用户数据库730获得注册特征向量，通过将注册特征向量与测试特征向量进行比较来对测试用户执行用户识别，并且生成识别结果。例如，识别设备710确定注册特征向量与测试特征向量之间的距离，并且基于将确定的距离与阈值进行比较的结果来生成识别结果。例如，可基于注册特征向量与测试特征向量之间的余弦距离(cosine distance)或欧式距离(Euclidean distance)来确定注册特征向量与测试特征向量之间的距离。[0078]图8和图9是示出基于装置上训练的特征向量的分布的变化的示例的示图。在图8的示例中，在向量平面810和820上指示注册特征向量。注册特征向量由小圆圈指示，并且具有相同图案的小圆圈指示相同注册用户的注册特征向量。在一个示例中，通过尚未被应用装置上训练的特征提取器来获得向量平面810上的注册特征向量，并且通过被应用了装置上训练的特征提取器获得向量平面820上的注册特征向量。如图8中所示，可通过装置上训练将注册特征向量重新映射为专用于注册用户。因此，可更准确地辨识注册用户(例如具有类似特征的注册用户(诸如，家庭成员))彼此。[0079]参照图9，与图8中所示的向量平面810和820相比，向量平面910和920还包括冒名顶替者的特征向量。在图9的示例中，冒名顶替者的特征向量被简称为冒名顶替者特征向量并且由六角星指示。在这个示例中，通过尚未被应用装置上训练的特征提取器获得向量平面910上的注册特征向量和冒名顶特征替者向量，并且通过被应用了装置上训练的特征提取器获得向量平面920上的注册特征向量和冒名顶替者特征向量。如图9中所示，除了注册特征向量之外，冒名顶替者特征向量也可通过装置上训练被重新映射为专用于注册用户。因此，可更准确地辨识或区分注册用户和冒名顶替者彼此，从而可更准确地验证注册用户。[0080]图10是示出基于装置上训练的识别方法的示例的流程图。参照图10，在操作1010中，识别设备接收由有效用户输入的用于用户注册的用户数据。在操作1020中，识别设备基于用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练。在操作1030中，识别设备基于来自特征提取器的响应于用户数据的输入的输出来确定注册特征向量。在操作1040中，识别设备接收由测试用户输入的用于用户识别的测试数据。在操作1050中，识别设备基于来自特征提取器的响应于测试数据的输入的输出来确定测试特征向量。在操作1060中，识别设备基于将注册特征向量与测试特征向量进行比较的结果对测试用户执行用户识别。对于基于装置上训练的识别方法的更详细描述，可参考上面参考图1至图9提供的15CN112446408A说　明　书11/13页描述。[0081]图11是示出基于装置上训练的识别方法的另一示例的流程图。参照图11，在操作1110中，识别设备获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器。在操作1120中，识别设备基于与有效用户对应的用户数据和与广义用户对应的参考数据对特征提取器执行装置上训练。在操作1130中，当装置上训练完成时，识别设备使用特征提取器执行用户识别。对于基于装置上训练的识别方法的更详细描述，可参考以上参考图1至图10提供的描述。[0082]图12是示出基于装置上训练的识别设备的示例的示图。识别设备1200可接收包括用户数据和测试数据的输入数据，并且处理与接收的输入数据相关联的神经网络的操作。例如，神经网络的操作可包括用户识别。识别设备1200可执行在此描述的关于处理神经网络的操作或方法中的一个或多个或全部，并且向用户提供处理神经网络的结果。[0083]参见图12，识别设备1200包括至少一个处理器1210和存储器1220。存储器1220可连接到处理器1210，并且存储可由处理器1210执行的指令，以及将由处理器1210处理的数据或由处理器1210处理的数据。存储器1220可包括非暂时性计算机可读介质(例如，高速随机存取存储器(RAM))和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置和其他非易失性固态存储器装置)。[0084]处理器1210可执行指令以执行以上参照图1至图11描述的操作或方法中的一个或多个或全部。在一个示例中，当存储在存储器1220中的指令被处理器1210执行时，处理器1210可接收由有效用户输入的用于用户注册的用户数据，基于用户数据和与广义用户对应的参考数据对特征提取器1225执行装置上训练，基于来自特征提取器1225的响应于用户数据的输入的输出来确定注册特征向量，接收由测试用户输入的用于用户识别的测试数据，基于来自特征提取器1225的响应于测试数据的输入的输出来确定测试特征向量，并且基于将注册特征向量与测试特征向量进行比较的结果来对测试用户执行用户识别。[0085]在另一示例中，当存储在存储器1220中的指令被处理器1210执行时，处理器1210可获得包括具有设定参数的第一神经网络和具有可调参数的第二神经网络的特征提取器1225，基于与有效用户对应的用户数据和与广义用户对应的参考数据对特征提取器1225执行装置上训练，并当装置上训练完成时使用特征提取器1225执行用户识别。[0086]图13是示出用户装置的示例的示图。用户装置1300可接收输入数据，并且处理与接收的输入数据相关联的神经网络的操作。例如，神经网络的操作可包括用户识别。用户装置1300可包括以上参照图1至图12描述的识别设备，并且执行如以上参照图1至图12描述的识别设备的操作或功能。[0087]参照图13，用户装置1300包括处理器1310、存储器1320、相机1330、存储装置1340、输入装置1350、输出装置1360和网络接口1370。处理器1310、存储器1320、相机1330、存储装置1340、输入装置1350、输出装置1360和网络接口1370可通过通信总线1380彼此通信。例如，用户装置1300可包括智能电话、平板个人计算机(PC)、膝上型计算机、台式计算机、可穿戴装置、智能家用电器、智能扬声器、智能汽车等。[0088]处理器1310可执行用户装置1300中的功能和指令。例如，处理器1310可处理存储在存储器1320或存储装置1340中的指令。处理器1310可执行以上参照图1至图12描述的操作或方法中的一个或多个或全部。16CN112446408A说　明　书12/13页[0089]存储器1320可存储将用于处理神经网络的操作的信息。存储器1320可包括计算机可读存储介质或计算机可读存储装置。存储器1320可存储将由处理器1310执行的指令，并且在软件或应用正由用户装置1300执行时存储相关信息。[0090]相机1330可捕获静止图像、运动或视频图像、或者静止图像与运动或视频图像两者。相机1330可捕获将由用户输入的面部区域的图像以用于面部验证。相机1330还