(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112534381A(43)申请公布日2021.03.19(21)申请号201980051887.8(74)专利代理机构北京康信知识产权代理有限(22)申请日2019.06.12责任公司11240代理人吴孟秋(30)优先权数据2018-1516572018.08.10JP(51)Int.Cl.G06F3/01(2006.01)(85)PCT国际申请进入国家阶段日2021.02.03(86)PCT国际申请的申请数据PCT/JP2019/0232772019.06.12(87)PCT国际申请的公布数据WO2020/031497JA2020.02.13(71)申请人索尼公司地址日本东京(72)发明人竹田裕史 铃木志朗 锦织修一郎 松本淳 权利要求书2页说明书22页附图16页(54)发明名称触觉反馈呈现装置的预驱动(57)摘要本发明的目的是防止由触觉反馈呈现装置的响应性引起的触觉反馈呈现定时的延迟并且改善触觉反馈的再现性。根据本技术的驱动控制装置包括驱动控制单元，该驱动控制单元使用于根据基于触觉反馈信号的驱动信号驱动触觉反馈呈现装置的驱动单元在触觉反馈信号的开始定时之前执行触觉反馈呈现装置的预驱动。通过所述预驱动，可以使触觉反馈呈现实际开始的定时接近触觉反馈信号的上升定时。CN112534381ACN112534381A权 利 要 求 书1/2页1.一种驱动控制装置，包括：驱动控制单元，使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于所述触觉信号的上升定时提前驱动所述触觉呈现装置的预驱动。2.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元在与所述触觉呈现装置的响应性相对应的定时开始所述预驱动。3.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元在与所述触觉信号的上升高度相对应的定时开始所述预驱动。4.根据权利要求1所述的驱动控制装置，其中，所述触觉信号通过编码而伴随有定时相关信息，所述定时相关信息是关于所述预驱动的定时的信息；并且所述驱动控制单元使所述驱动单元基于所述定时相关信息来执行所述预驱动。5.根据权利要求4所述的驱动控制装置，其中，所述定时相关信息包括指示所述触觉信号的所述上升定时的信息。6.根据权利要求4所述的驱动控制装置，其中，所述定时相关信息包括指示所述触觉信号的上升高度的信息。7.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元通过与所述触觉信号的上升高度相对应的驱动信号强度来执行所述预驱动。8.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元通过与和人触觉感觉相关的感知阈值相对应的驱动信号强度来执行所述预驱动。9.根据权利要求8所述的驱动控制装置，其中，所述驱动控制单元通过与所述感知阈值的最低值相对应的驱动信号强度来执行所述预驱动。10.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元以所述触觉信号的帧为单位确定所述预驱动的开始定时。11.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元以所述触觉信号的样本为单位确定所述预驱动的开始定时。12.根据权利要求1所述的驱动控制装置，其中，所述驱动控制单元基于操作设置所述预驱动的开始定时或驱动信号强度。13.根据权利要求1所述的驱动控制装置，其中，所述驱动单元通过由放大器放大的所述驱动信号来驱动所述触觉呈现装置；并且所述驱动控制单元基于所述触觉信号的振幅值来执行使所述放大器处于省电状态的控制，并且基于所述预驱动的开始定时来执行使所述放大器处于启动状态的控制。14.根据权利要求1所述的驱动控制装置，其中，所述驱动单元驱动多个所述触觉呈现装置；并且所述驱动控制单元执行所述预驱动，使得触觉呈现定时在多个所述触觉呈现装置之间同步。15.根据权利要求1所述的驱动控制装置，其中，2CN112534381A权 利 要 求 书2/2页所述驱动单元驱动多个所述触觉呈现装置，多个所述触觉呈现装置中的每个所述触觉呈现装置对人体的不同接收器执行触觉呈现；并且所述驱动控制单元以与所述接收器的特性相对应的驱动信号强度或开始定时来执行每个所述触觉呈现装置的所述预驱动。16.根据权利要求1所述的驱动控制装置，其中，所述驱动单元驱动多个所述触觉呈现装置；并且所述驱动控制单元通过与所述触觉呈现装置在人体中的触觉呈现部位相对应的驱动信号强度来执行每个所述触觉呈现装置的所述预驱动。17.一种驱动控制方法，包括：使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于所述触觉信号的上升定时提前驱动所述触觉呈现装置的预驱动。18.一种程序，使信息处理装置实现以下功能：使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于所述触觉信号的上升定时提前驱动所述触觉呈现装置的预驱动。3CN112534381A说 明 书1/22页触觉反馈呈现装置的预驱动技术领域[0001]本技术涉及一种驱动控制装置及其方法和程序，该驱动控制装置对触觉呈现装置执行驱动控制，该触觉呈现装置基于诸如振动信号的触觉信号将触觉信息呈现给触摸者。背景技术[0002]近年来，已经在各种情形中使用通过与人皮肤接触的触觉呈现装置而给予触觉刺激的应用。此处，术语“触觉呈现”是指生成触觉刺激。[0003]例如，在诸如智能电话的配备有触摸屏幕的移动终端中，通过在屏幕的触摸操作时使屏幕(或壳体)振动以向手指施加触摸刺激来模拟按钮的触摸感觉。[0004]在音乐收听中，触觉呈现装置内置在耳机壳体中，并且并行地给予触觉刺激和音乐再现以强调重低音。[0005]在计算机游戏和虚拟现实(VR)领域中，存在其中安装在控制器中的触觉呈现装置通过响应于用户操作根据场景交互地给予触觉刺激而增强用户的沉浸感的情况。[0006]在一些娱乐设施中，通过由安装在电影院和主题公园的座椅中的触觉呈现装置根据场景给予触觉刺激来改善访问者的真实感觉。[0007]此外，在研究和开发阶段中的这些包括使操作者通过将由机器人或待操作的对象接收的振动反馈至操作者手边的控制器而直观地感测远程操作机器人或对象周围的情况的危险预测(示例：灾难响应机器人(Disaster Response Robot)
)。[0008]此外，在医学领域中，已经进行了研究以通过在操作手术机器人时将内窥镜镊子触摸器官的感觉(硬度)反馈给操作者来提高手术精度(示例：达芬奇手术辅助机器人(da Vinci,Surgical Assist Robot))。[0009]此处，关于触觉再现装置，广泛使用诸如偏心电机(ERM)或线性致动器(LRA)的具有在人类的触觉感觉中灵敏度良好的频率(约100Hz)处的共振频率的装置(例如，参见专利文献1)。[0010]此外，对于触觉信号，有时使用基于音频信号生成的信号来代替由触觉传感器感测的信号(例如，参见专利文献2)。[0011]引用列表[0012]专利文献[0013]专利文献1：日本专利申请公开第2016‑202486号；[0014]专利文献2：日本专利申请公开第2015‑53038号。发明内容[0015]本发明要解决的问题[0016]此处，当前触觉呈现装置的主流是所谓的振动装置，其中，装置本身物理振动以使4CN112534381A说 明 书2/22页人体振动，并且由此生成触觉刺激。振动装置通常具有较大的质量，这是因为振动装置需要振动并且充分刺激相对不敏感的皮肤，并且因此，该振动装置趋向于较低的时间响应性。即，已知即使给定特定振幅值作为驱动电压，从振幅为0的状态达到期望振幅也需要花费较长的时间，并且例如，即使通过组合使用升压电路临时过冲驱动电压，偏心电机也需要约100ms，并且线性致动器也需要约10ms。[0017]因此，由这些振动装置生成的振动相对于振幅变化较大的驱动电压被延迟，并且因此，难以在期望定时呈现触觉刺激，并且难以表现诸如碰撞振动的急剧上升。[0018]鉴于以上情况提出了本技术，并且本技术的目的是防止由于触觉呈现装置的响应性引起的触觉呈现定时的延迟，并且改善触觉感觉的再现性。[0019]问题的解决
方案
气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载
[0020]根据本技术的驱动控制装置包括驱动控制单元，该驱动控制单元使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于触觉信号的上升定时提前驱动触觉呈现装置的预驱动。[0021]通过上述预驱动，可以使触觉呈现实际开始的定时接近触觉信号的上升定时。[0022]在根据上述本技术的驱动控制装置中，期望驱动控制单元在与触觉呈现装置的响应性相对应的定时开始预驱动。[0023]这使得可以将触觉呈现实际开始的定时设置为与触觉呈现装置的响应性相对应的定时。[0024]在根据上述本技术的驱动控制装置中，期望驱动控制单元在与触觉信号的上升高度相对应的定时开始预驱动。[0025]这使得可以将触觉呈现实际开始的定时设置为与触觉信号的上升高度相对应的定时。[0026]在根据上述本技术的驱动控制装置中，触觉信号通过编码而伴随有定时相关信息，该定时相关信息是关于预驱动的定时的信息，并且期望驱动控制单元使驱动单元基于定时相关信息来执行预驱动。[0027]这消除了当在适当的定时执行预驱动时在解码侧
分析
定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析
触觉信号的需求。[0028]在根据上述本技术的驱动控制装置中，期望定时相关信息包括指示触觉信号的上升定时的信息。[0029]这消除了当在适当的定时执行预驱动时在解码侧
检测
工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训
触觉信号的上升定时的信号分析的需求。[0030]在根据上述本技术的驱动控制装置中，期望定时相关信息包括指示触觉信号的上升高度的信息。[0031]这消除了当在适当的定时执行预驱动时在解码侧检测触觉信号的上升高度的信号分析的需求。[0032]在根据上述本技术的驱动控制装置中，期望驱动控制单元通过与触觉信号的上升高度相对应的驱动信号强度来执行预驱动。[0033]这使得可以防止在触觉信号的上升部分处的最大振幅的时刻对触摸者的呈现定时的延迟。[0034]在根据上述本技术的驱动控制装置中，期望驱动控制单元通过与和人触觉感觉相5CN112534381A说 明 书3/22页关的感知阈值相对应的驱动信号强度来执行预驱动。[0035]这使得可以将触摸者开始感知与触觉信号的上升部分相对应的触觉刺激的定时与原始定时相匹配。[0036]在根据上述本技术的驱动控制装置中，期望驱动控制单元通过与感知阈值的最低值相对应的驱动信号强度来执行预驱动。[0037]无论触觉信号的上升部分的频率分量如何，这防止了触觉刺激被感知。[0038]在根据上述本技术的驱动控制装置中，期望驱动控制单元以触觉信号的帧为单位确定预驱动的开始定时。[0039]这消除了当确定预驱动的开始定时时以触觉信号的样本为单位的定时器管理的需求。[0040]在根据上述本技术的驱动控制装置中，期望驱动控制单元以触觉信号的样本为单位确定预驱动的开始定时。[0041]这使得可以提高预驱动的开始定时的精度。[0042]在根据上述本技术的驱动控制装置中，期望驱动控制单元基于操作设置预驱动的开始定时或驱动信号强度。[0043]这使得诸如触摸者的系统用户可以调整预驱动的开始定时和驱动信号强度。[0044]在根据上述本技术的驱动控制装置中，期望驱动单元通过由放大器放大的驱动信号来驱动触觉呈现装置，并且驱动控制单元基于触觉信号的振幅值来执行使放大器处于省电状态的控制，并且基于预驱动的开始定时来执行使放大器处于启动状态的控制。[0045]这使得可以响应于触觉信号的上升部分在时间方向上离散存在的情况降低通过在除了触觉信号的上升部分之外的时间段中使放大器处于省电状态而引起的功耗，并且在预驱动的开始定时之前使放大器处于启动状态。[0046]在根据上述本技术的驱动控制装置中，期望驱动单元驱动多个触觉呈现装置，并且驱动控制单元执行预驱动，使得触觉呈现定时在多个触觉呈现装置之间同步。[0047]这使得可以在使用具有不同响应性的多个触觉呈现装置的情况下防止每个触觉呈现装置的触觉呈现定时的变化。[0048]在根据上述本技术的驱动控制装置中，期望驱动单元驱动多个触觉呈现装置，该多个触觉呈现装置中的每个触觉呈现装置对人体的不同接收器执行触觉呈现，并且驱动控制单元通过与接收器的特性相对应的驱动信号强度或开始定时来执行每个触觉呈现装置的预驱动。[0049]这使得可以在多个触觉呈现装置执行针对人体的不同接收器的触觉呈现的情况下通过与目标接收器的特性相对应的适当模式执行每个触觉呈现装置的预驱动。[0050]在根据上述本技术的驱动控制装置中，期望驱动单元驱动多个触觉呈现装置，并且驱动控制单元通过与触觉呈现装置在人体中的触觉呈现部位相对应的驱动信号强度来执行每个触觉呈现装置的预驱动。[0051]这使得可以在多个触觉呈现装置执行针对人体的不同部位的触觉呈现的情况下通过与人体的部位的触觉特性相对应的适当模式执行每个触觉呈现装置的预驱动。[0052]此外，根据本技术的驱动控制方法是一种驱动控制方法，包括：使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于触觉信号的上升定时提前驱动触6CN112534381A说 明 书4/22页觉呈现装置的预驱动。[0053]这样的驱动控制方法还实现了与根据本技术的驱动控制装置的操作类似的操作。[0054]此外，根据本技术的程序是一种程序，该程序使信息处理装置实现以下功能：使通过基于触觉信号的驱动信号驱动触觉呈现装置的驱动单元执行相对于触觉信号的上升定时提前驱动触觉呈现装置的预驱动。[0055]根据本技术的这样的程序实现根据本技术的驱动控制装置。[0056]发明效果[0057]根据本技术，可以防止由于触觉呈现装置的响应性引起的触觉呈现定时的延迟并且可以改善触觉感觉的再现性。[0058]注意，此处描述的效果不必受限制，并且可以是本公开中描述的任何效果。附图说明[0059][图1]是示出包括作为根据本技术的实施方式的驱动控制装置的触觉再现系统的配置示例的示图。[0060][图2]是用于说明作为第一实施方式的编码装置的内部配置示例的示图。[0061][图3]是用于说明作为第一实施方式的驱动控制装置的内部配置示例的示图。[0062][图4]是示出触觉信号的波形的示例的示图。[0063][图5]是示出作为实施方式的编码方法的说明图。[0064][图6]是示出作为实施方式的编码
格式
pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载
的具体示例的示图。[0065][图7]是示出作为实施方式的通过驱动方法驱动的示例的示图。[0066][图8]是示出用于实现作为实施方式的驱动方法的编码单元的内部配置示例的示图。[0067][图9]是用于说明与作为实施方式的驱动方法相关的功能的驱动控制装置的功能框图。[0068][图10]是示出为了实现作为实施方式的驱动方法而要执行的具体处理过程的流程图。[0069][图11]是示出作为第一变形的处理过程的流程图。[0070][图12]是振动检测阈值曲线的说明图。[0071][图13]是第二变形中的驱动的示例的示图。[0072][图14]是示出每个接收器的振动检测阈值曲线的示图。[0073][图15]是示出用于调整预驱动的开始定时和驱动信号强度的GUI的示例的示图。[0074][图16]是用于说明作为第二实施方式的编码装置的内部配置示例的示图。[0075][图17]是用于说明作为第二实施方式的驱动控制装置的内部配置示例的示图。[0076][图18]是示出躯干呈现型触觉装置的示例的示图。具体实施方式[0077]下面将参考附图按以下顺序描述根据本技术的实施方式。[0078]<1.第一实施方式>[0079][1‑1.触觉再现系统的概述]7CN112534381A说 明 书5/22页[0080][1‑2.编码装置的配置][0081][1‑3.再现装置的配置][0082][1‑4.作为实施方式的驱动方法][0083](驱动方法的概述)[0084](应用示例)[0085](编码侧的配置)[0086](解码侧的功能配置)[0087](解码侧的处理过程)[0088][1‑5.第一变形][0089][1‑6.第二变形][0090][1‑7.第三变形][0091][1‑8.第四变形][0092]<2.第二实施方式>[0093][2‑1.触觉再现系统的配置][0094][2‑2.第一应用示例][0095][2‑3.第二应用示例][0096][2‑4.第三应用示例][0097]<3.变形>[0098]<4.实施方式的总结>[0099]<5.本技术>[0100]此处，在本描述中，每个术语如下定义。[0101]触觉刺激：使人感知触觉感觉的物理现象，诸如振动现象。[0102]触觉呈现：生成触觉刺激。[0103]触觉信息：通过触觉感觉感知的信息，诸如振动信息。[0104]触觉信号：表示触觉刺激的模式的信号，诸如表示振动波形的信号。[0105]触摸者：接收触觉呈现的人。[0106]触觉特性：与人触觉感觉相关的特性。[0107]<1.第一实施方式>[0108][1‑1.触觉再现系统的概述][0109]图1是示出包括作为根据本技术的实施方式的驱动控制装置(再现装置3)的触觉再现系统1的配置示例的示图。[0110]首先，在本实施方式中，将用于实现触觉再现的环境划分为记录环境和再现环境，在记录环境中，对通过感测目标触觉信息(触觉刺激)而获得的触觉信号进行编码并且记录通过编码而获得的编码数据Dc，在再现环境中，基于通过对编码数据Dc进行解码而获得的触觉信号来再现触觉信息。[0111]如图所示，触觉再现系统1在记录环境中包括触觉传感器5和触觉传感器5连接至的编码装置2，并且在再现环境中包括被配置为可获取编码数据Dc的再现装置3和连接至再现装置3的触觉呈现装置6。[0112]触觉传感器5是感测触觉刺激的传感器，并且在该示例中，使用诸如压电拾音器或8CN112534381A说 明 书6/22页加速度传感器的振动传感器。触觉传感器5与要感测的对象(即，该示例中的人体)接触以输出振动和运动作为电压变化。[0113]例如，编码装置2包括诸如中央处理单元(CPU)和数字信号处理器(DSP)的计算机装置，根据关于触觉传感器5的检测信号(触觉信号)的预定数据格式执行编码，并且将通过编码获得的编码数据Dc记录到设置在内部的存储装置中。[0114]再现装置3包括诸如CPU和DSP的计算机装置，对已经获取的编码数据Dc进行解码，并且基于通过解码获得的触觉信号驱动触觉呈现装置6。例如，记录在记录环境中的编码数据Dc由再现装置3经由诸如因特网的期望网络获取。可选地，可以将编码数据Dc记录在便携式记录介质上，并且再现装置3可以经由记录介质获取编码数据Dc。[0115]触觉呈现装置6是生成触觉刺激的装置，并且在该示例中，使用诸如振动器或致动器的振动装置。[0116]触觉呈现装置6附接至触摸者的人体的预定部位，以便再现由触觉传感器5感测到的触觉刺激。[0117]图1所示的触觉再现系统1被配置为在触摸者处再现由佩戴触觉传感器5的人感知的触觉信息的系统，并且被配置为能够应对两人位于彼此远离的地方的情况的系统。[0118]注意，图1示出了触觉呈现装置6与再现装置3分开设置的示例，但是触觉呈现装置6可以与再现装置3整体配置。具体地，例如，振动装置可以被配置为结合到诸如智能电话的便携式终端中。[0119][1‑2.编码装置的配置][0120]图2是用于说明编码装置2的内部配置示例的示图。注意，图2还示出了图1所示的触觉传感器5以及编码装置2的内部配置示例。[0121]如图所示，编码装置2包括放大器21、A/D转换器22、预处理单元23、编码单元24、控制单元25、存储单元26、通信单元27以及总线BS。预处理单元23、编码单元24、控制单元25、存储单元26以及通信单元27经由总线BS彼此连接，使得它们可以彼此通信。[0122]触觉传感器5的检测信号被输入至放大器21，被调整为具有适当的动态范围，并且然后被输入至A/D转换器22以进行A/D转换。[0123]A/D转换的检测信号(即，表示触觉刺激的模式的触觉信号)被输入至预处理单元23。预处理单元23执行诸如噪声去除和触觉传感器5的传感器特性的校准的各种数字信号处理。[0124]将经过预处理器单元23的信号处理的触觉信号输入至编码单元24。[0125]编码单元24例如包括DSP，并且根据预定数据格式对输入触觉信号进行编码。[0126]注意，稍后将再次描述作为本实施方式的触觉信号的编码。[0127]控制单元25例如包括具有CPU、只读存储器(ROM)以及随机存取存储器(RAM)的微型计算机，并且通过根据存储在ROM中的程序执行处理来执行编码装置2的整体控制。[0128]例如，控制单元25经由通信单元27与外部装置执行数据通信。[0129]通信单元27被配置为能够经由诸如因特网的网络与外部装置执行数据通信，并且控制单元25被配置为能够经由通信单元27与连接至网络的外部装置执行数据通信。具体地，由编码单元24编码的触觉信号(上述编码数据Dc)可以经由通信单元27被发送至外部装置。9CN112534381A说 明 书7/22页[0130]存储单元26综合表示诸如硬盘驱动器(HDD)或固态驱动器(SSD)的存储装置，并且用于编码装置2中的各种数据存储。例如，存储单元26存储控制单元25进行控制所需的数据。此外，基于控制单元25的控制，可以将由编码单元24编码的触觉信号(编码数据Dc)存储在存储单元26中。[0131][1‑3.再现装置的配置][0132]图3是用于说明再现装置3的内部配置示例的示图，并且还示出了图1所示的触觉呈现装置6以及再现装置3的内部配置示例。再现装置3是根据本技术的驱动控制装置的实施方式。[0133]如图所示，再现装置3包括放大器31、D/A转换器32、后处理单元33以及解码单元34，并且还包括控制单元35、通信单元36、媒体驱动器37、存储单元38以及操作单元39。后处理单元33、解码单元34、控制单元35、通信单元36、媒体驱动器37以及存储单元38经由总线BS彼此连接，使得它们可以彼此通信。[0134]控制单元35例如包括具有CPU、ROM以及RAM的微型计算机，并且通过根据存储在ROM中的程序执行处理来执行再现装置3的整体控制。[0135]通信单元36被配置为能够经由诸如因特网的网络与外部装置执行数据通信。控制单元35被配置为能够经由通信单元36与连接至网络的外部装置执行数据通信。具体地，控制单元35可以使通信单元36从诸如网络上的服务器装置的外部装置接收编码数据Dc。[0136]媒体驱动器37被配置为使得便携式记录介质是可拆卸的，并且被配置为能够将数据写入所安装的记录介质中并且从所安装的记录介质读取数据的读取器/写入器单元。由媒体驱动器37支持的记录介质包括存储卡(例如，便携式闪存)和光盘记录介质。[0137]媒体驱动器37使得能够读取记录在便携式记录介质上的编码数据Dc。[0138]存储单元38综合表示诸如HDD或SSD的存储装置，并且用于再现装置3中的各种数据存储。例如，存储单元38存储控制单元35进行控制所需的数据。此外，基于控制单元35的控制，也可以将由媒体驱动器37读取的编码数据Dc和由通信单元36从外部装置接收的编码数据Dc存储在存储单元38中。[0139]操作单元39综合表示设置在再现装置3中的各种操作器，并且将与操作输入相对应的操作输入信息输出至控制单元35。[0140]控制单元35执行与操作输入信息相对应的处理。因此，再现装置3实现与操作输入相对应的操作。[0141]基于控制单元35的控制，将编码数据Dc输入至解码单元34。[0142]解码单元34通过稍后所述的方法对输入的编码数据Dc进行解码来获得触觉信号。将由解码单元34获得的触觉信号输入至后处理单元33。[0143]后处理单元33根据需要对已经输入的触觉信号执行诸如触觉呈现装置6的校准和预定滤波处理的信号处理。[0144]将已经通过后处理单元33的触觉信号输入至D/A转换器32，进行D/A转换，由放大器31调整为具有适当的动态范围，并且然后，输出至触觉呈现装置6。[0145]因此，基于触觉信号来驱动触觉呈现装置6，并且可以将作为记录环境中的感测对象的触觉刺激给予触摸者(即，可以再现触觉信息)。[0146]注意，以上仅提及了触觉信号，但是，也可以采用其中音频信号和视频信号与触觉10CN112534381A说 明 书8/22页信号一起被记录，并且将声音和视频与触觉信息一起提供给触摸者的配置。[0147][1‑4.作为实施方式的驱动方法][0148](驱动方法的概述)[0149]此处，在再现触觉信息时，应考虑在触觉呈现装置6中发生对驱动信号的相当大的响应延迟。具体地，在如本示例中那样使用振动装置作为触觉呈现装置6的情况下，存在发生相对较大的响应延迟的可能性，从而使触觉感觉的再现性劣化。[0150]因此，在本实施方式中，目的是防止由于触觉呈现装置6的响应性(时间响应性)引起的触觉呈现定时的延迟，并且改善触觉感觉的再现性。[0151]在下文中，将描述作为用于防止这样的触觉呈现定时的延迟的实施方式的驱动方法。[0152]首先，与触觉感觉相关的大部分现象是诸如与特定对象的接触或碰撞的时间上稀疏的刺激的现象，而不是特定刺激恒定持续的现象。因此，例如，如图4所示，大部分触觉信号是在多数情况下值为0并且该值急剧上升的信号。[0153]考虑到这一点，下面将基于如图4所示的触觉信号的假设给出描述。[0154]在该示例中，编码装置2分析触觉信号，并且获得信号的急剧上升的时间和上升高度。具体地，在图4所示的波形中，触觉信号分别在时间t1和t2急剧上升。通过信号分析分别检测到这些上升，并且获得上升时间t1和t2以及上升高度A1和A2。[0155]此处，用于上升检测的信号分析可以通过将所设置的阈值与信号强度进行比较来执行，或者可以通过诸如观察信号强度的变化率的信号处理方法来执行。[0156]作为触觉信号的编码，编码装置2执行使指示诸如时间t1和t2的上升定时的信息和指示诸如上升高度A1和A2的每个上升的振幅高度的信息伴随触觉信号的编码。[0157]具体地，在该本示例中，假设以帧为单位处理触觉信号，则使指示上升定时的信息和指示上升的振幅高度的信息伴随每个帧。[0158]图5是示出作为实施方式的编码方法的说明图。[0159]如图所示，对于触觉信号的每个帧Fr，为每个报头部分存储指示最接近帧Fr的上升时间的剩余时间的信息(附图中的“T”)和指示上升的振幅高度的信息(附图中的“A”)。[0160]在下文中，将上述“最接近帧Fr的上升时间的剩余时间”表述为“直至上升的时间T”，并且将上述“上升的振幅高度”表述为“上升高度A”。[0161]直至上升的时间T例如记录从帧Fr的报头时间到最近的上升时间的剩余时间。[0162]注意，在触觉信号的采样频率为2kHz的情况下，触觉信号的一个样本为0.5ms。在该情况下，如果一个帧Fr具有512个样本，则1个帧＝256ms。[0163]图6示出了编码格式的具体示例。[0164]如图所示，帧Fr设置有报头区域，该报头区域是用于存储报头信息的区域，其后是用于存储触觉信号的真实数据的真实数据区域。报头区域设置有用于从报头侧按顺序存储关于同步、采样频率、量化位长度、块大小、直至上升的时间T以及上升高度A的信息的区域。[0165]同步是指示帧Fr的定界符的标识符，并且根据预定模式存储数据。采样频率和量化位长度分别表示触觉信号的采样频率和量化位长度。例如，块大小表示存储在真实数据区域中的触觉信号在时间方向上的大小，并且以样本数量为单位存储信息。[0166]编码装置2(编码单元24)根据图6所示的格式对触觉信号进行编码以生成编码数11CN112534381A说 明 书9/22页据Dc。[0167]再现装置3基于关于存储在编码数据Dc的帧Fr的报头中的直至上升的时间T和上升高度A的信息而相对于触觉信号的上升定时提前驱动触觉呈现装置6。在下文中，将相对于触觉信号的上升定时提前驱动触觉呈现装置6称为“预驱动”。[0168]在再现装置3中，解码单元34首先基于上升高度A的信息来计算触觉呈现装置6生成与上升高度A相对应的振动所需的时间长度。该时间长度可以换句话说表述为触觉呈现装置6生成具有期望振幅的振动所需的预驱动的时间长度，并且在下文中被称为“时间长度Δt”。[0169]例如，通过使用表示触觉呈现装置6的响应性的系数和上升高度A执行计算来获得时间长度Δt作为基于触觉呈现装置6的响应性的值。[0170]注意，表示触觉呈现装置6的响应性的系数可以是预定值或可以通过校准来获取。[0171]此处，在该示例的再现装置3中，假设触觉信号是表示如图4所示的时间上稀疏的触觉刺激的生成的信号，则执行放大器31的省电控制。具体地，在触觉信号的上升之间存在足够小的振幅的时间段内，将放大器31控制到省电状态。[0172]放大器31从省电状态启动需要花费一定量的时间。因此，在该示例中，当执行上述预驱动时，在预驱动的开始定时之前执行放大器31的启动控制。即，在放大器31从省电状态启动所需的时间为启动时间Δta的情况下，执行处于省电状态的放大器31在预驱动的开始定时之前启动启动时间Δta的控制。[0173]注意，启动时间Δta可以是从放大器31本身的特性作为常数获得的的值。可选地，还可以相对于上升高度A动态地获得启动时间Δta。[0174]解码单元34针对每个帧Fr对要输入的编码数据Dc执行以下处理。[0175]即，获得预驱动的时间长度Δt与放大器31的启动时间Δta的和“Δt+Δta”。然后，确定直至上升的时间T是否小于和Δt+Δta(T<Δt+Δta)。然后，如果T<Δt+Δta，则放大器31从省电状态启动。[0176]在放大器31以这种方式启动之后，确定直至上升的时间T是否变得小于预驱动时间的长度Δt(T<Δt)。然后，如果T<Δt，则开始预驱动。在该示例中，假设触觉信号的振幅是在预驱动时的上升高度A的振幅(在下文中，被称为“振幅A”)。[0177]图7示出了驱动的示例。[0178]根据上述驱动方法，在相对于由时间t1表示的触觉信号的上升定时的Δt+Δta之前启动放大器31，并且对于触觉呈现装置6，在相对于时间t1的Δt之前开始预驱动。在该示例中，触觉信号在预驱动时的振幅为振幅A。[0179]通过这种预驱动，由触觉呈现装置6呈现的信号在时间t1达到振幅A。因此，触觉刺激具有最大振幅的定时可以与触觉信号具有最大振幅的原始定时相匹配。即，可以使具有较大感知影响的最大振幅的时刻与原始时间相匹配。[0180]在时间t1上升之后，响应于触觉信号的充分衰减，再次将放大器31切换至省电状态。因此，降低放大器31的功耗。[0181]此处，直至上升的时间T变为0的时刻是原始上升时间，并且因此，此后根据触觉信号的原始振幅来驱动触觉呈现装置6。[0182]在上升时间之时和上升时间之后的帧Fr中，关于指示直至下一次上升时间的剩余12CN112534381A说 明 书10/22页时间的时间T的信息以及关于与下一次上升时间相关的高度A的信息被新存储在报头中。此时，在触觉信号的振幅充分小并且存在直至下一次上升的时间的情况下，具体地，例如，直至上升的时间T大于Δt+Δta，使放大器31处于省电状态。[0183](应用示例)[0184]设想将上述驱动方法应用于使用诸如智能电话的便携式终端观看具有振动的电影的情况。[0185]例如，使再现装置3是具有作为振动装置的内置触觉呈现装置7的便携式终端。从成本的角度来看，偏心电机通常用作智能电话等的振动装置。然而，偏心电机从振幅为0达到期望振幅需要花费约100ms的时间，并且响应性较低。因此，即使按原样使用触觉信号来驱动偏心电机，与原始期望的定时相比较，触觉呈现定时也延迟了100ms。这意味着振动比电影的视频和音频延迟地更多，这成为极大破坏用户体验的因素。[0186]因此，优选地应用本实施方式的驱动方法。在该情况下，偏心电机的振动在原始信号上升定时之前100ms开始。此外，放大器31例如在其之前120ms启动。[0187]因此，即使在使用具有较低响应性的偏心电机的情况下，也可以防止触觉呈现定时被延迟，并且可以改善触觉感觉的再现性。此外，通过设置使放大器31处于省电状态的时间，可以降低触觉呈现所需的功耗。[0188](编码侧的配置)[0189]图8是示出用于实现作为上述实施方式的驱动方法的编码单元24的内部配置示例的示图。[0190]如图所示，编码单元24包括信号分析单元24a和编码数据生成单元24b。信号分析单元24a对要从图2所示的预处理单元23输入的触觉信号执行信号分析，并且获得对象帧Fr的“直至上升的时间T”和“上升高度A”。[0191]编码数据生成单元24b基于要从预处理单元23输入的触觉信号以及由信号分析单元24a获得的“直至上升的时间T”和“上升高度A”来生成编码数据Dc。具体地，根据参考图6描述的编码格式，编码数据生成单元24b生成编码数据Dc，在该编码数据Dc中，诸如直至上升的时间T和上升高度A的预定信息被存储在报头中。[0192](解码侧的功能配置)[0193]图9是用于说明与作为包括在再现装置3中的实施方式的驱动方法相关的功能的功能框图。[0194]如图所示，再现装置3具有作为驱动单元F1和驱动控制单元F2的功能。[0195]驱动单元F1通过基于触觉信号的驱动信号来驱动触觉呈现装置6，并且在该示例中，驱动单元F1与D/A转换器32和放大器31相对应。[0196]驱动控制单元F2使驱动单元F1执行预驱动，该预驱动相对于触觉信号的上升定时提前驱动触觉呈现装置6。在该示例中，通过解码单元34实现作为驱动控制单元F2的功能。[0197]在该示例中，驱动控制单元F2在与触觉呈现装置6的响应性相对应的定时开始预驱动。这使得可以将触觉呈现实际开始的定时设置为与触觉呈现装置的响应性相对应的定时。[0198]此外，该示例的驱动控制单元F2在与触觉信号的上升高度A相对应的定时开始预驱动。这使得可以将触觉呈现实际开始的定时设置为与触觉信号的上升高度相对应的定13CN112534381A说 明 书11/22页时。[0199]此外，在该示例中，驱动控制单元F2使驱动单元F1基于通过编码而伴随有触觉信号的定时相关信息来执行预驱动。[0200]此处，定时相关信息是与预驱动的定时相关的信息，并且在该示例中，定时相关信息与关于表示触觉信号的上升定时的“直至上升的时间T”的信息以及关于触觉信号的“上升高度A”的信息相对应。[0201]通过基于通过编码而伴随有触觉信号的定时相关信息执行预驱动，不必当在适当的定时执行预驱动时在解码侧分析触觉信号。即，可以减少解码侧的处理负荷。[0202]此外，在该示例中，驱动控制单元F2通过与触觉信号的上升高度A相对应的驱动信号强度来执行预驱动。[0203]这使得可以防止在触觉信号的上升部分处的最大振幅的时刻对触摸者的呈现定时的延迟。[0204]此外，在该示例的再现装置3中，驱动单元F1通过由放大器31放大的驱动信号来驱动触觉呈现装置6，并且驱动控制单元F2基于触觉信号的振幅值来执行使放大器31处于省电状态的控制，并且基于预驱动的开始定时来执行使放大器31处于启动状态的控制。[0205]这使得可以响应于触觉信号的上升部分在时间方向上离散存在的情况降低通过在除了触觉信号的上升部分之外的时间段中使放大器31处于省电状态而引起的功耗，并且在预驱动的开始定时之前使放大器31处于启动状态。因此，可以在降低功耗的同时通过预驱动改善触觉感觉的再现性。[0206]注意，在该示例中，描述了中将驱动单元F1和驱动控制单元F2整体配置在与再现装置3相同的装置中的示例，但是，将驱动单元F1与驱动控制单元F2设置在分开的装置中的配置是可能的。[0207](解码侧的处理过程)[0208]参考图10的流程图，将描述为了实现作为上述实施方式的驱动方法而由再现装置3执行的处理的过程。[0209]注意，由解码单元34针对编码数据Dc的每个帧Fr执行图10所示的处理。[0210]在图10中，解码单元34在步骤S101中执行获取直至下一次上升的时间T和上升高度A的处理。即，解码单元34获取关于存储在对象帧Fr的报头中的直至上升的时间T和上升高度A的信息。[0211]在随后的步骤S102中，解码单元34基于上升高度A计算预驱动的时间长度Δt，并且在接下来的步骤S103中，执行获取放大器31的启动时间Δta的处理。如上所述，在该示例中，通过使用指示触觉呈现装置6的响应性的系数和上升高度A来计算预驱动的时间长度Δt。[0212]注意，可以相对于上升高度A动态地获得放大器31的启动时间Δta，并且在这种情况下，通过使用高度A的计算来获得该启动时间Δta。[0213]在步骤S103之后的步骤S104中，解码单元34确定是否启动放大器31，具体地，确定是否是“T<Δt+Δta”。[0214]在解码单元34确定不是“T<Δt+Δta”并且不应启动放大器31的情况下，解码单元34在步骤S105中确定是否存在非零信号。14CN112534381A说 明 书12/22页[0215]此处，不是“T<Δt+Δta”的情况(即，存在直至下一次上升的足够时间的情况)被视为是处于信号的上升部分之间的非信号时间段中间的情况或处于信号的上升部分的上升定时之时和上升定时之后的时间段中间的情况。步骤S105中的确定处理用作对要应用这两种情况中的哪一种情况进行分类的处理。[0216]在步骤S105中确定不存在非零信号的情况下(即，在非信号时间段的情况下)，解码单元34在步骤S106中控制放大器31处于省电状态并且结束图10所示的一系列处理。[0217]因此，在排除触觉信号的上升部分的非信号时间段中，防止放大器31不合理地消耗功率，从而降低功耗。[0218]另一方面，在步骤S105中确定存在非零信号的情况下，解码单元34在步骤S107中输出输入信号。即，解码单元34输出存储在帧Fr的真实数据区域中的触觉信号。响应于步骤S105中的输出处理的执行，解码单元34结束图10所示的一系列处理。[0219]此处，触觉信号的上升与帧Fr的中断无关地发生，并且触觉信号的上升定时很少与帧Fr的中断一致。假设触觉信号中的目标上升定时是“上升定时Tt”并且包括上升定时Tt的帧Fr是第m个帧Fr(在下文中，被称为帧Fr(m))，则在编码单元24的编码中，存储上升定时Tt的“直至上升的时间T”直到帧Fr(m)，并且存储从紧接在帧Fr(m)之后的帧Fr(m+1)到紧接在上升定时Tt之后的上升定时的“直至上升的时间T”。[0220]根据从S105至S107的步骤的处理，响应于要处理的帧Fr是帧Fr(m+1)的情况，可以适当地输出上升部分的非零时间段的信号。此外，这意味着从作为预驱动的振幅A的输出到上升部分的非零时间段的信号输出适当地执行切换。[0221]随后，在先前的步骤S104中确定是“T<Δt+Δta”并且应启动放大器31的情况下，解码单元34在步骤S108中执行启动放大器31的控制，并且然后，在步骤S109中确定是否紧接在上升之前，具体地，确定是否是“T<Δt”。[0222]在确定不是“T<Δt”并且不紧接在上升之前的情况下，解码单元34结束图10所示的一系列处理。[0223]另一方面，在确定是“T<Δt”并且紧接在上升之前的情况下，解码单元34在步骤S110中输出振幅为A的信号，并且结束图10所示的一系列处理。因此，从已经变为“T<Δt”的帧Fr到上述帧Fr(m)执行预驱动。[0224][1‑5.第一变形][0225]此处，图10所示的处理是以触觉信号的帧为单位确定预驱动的开始定时的示例。例如，据此，如果从包括在帧Fr中的样本数量和采样频率确定的帧Fr的时间长度足够短(例如，如果样本数量＝128并且采样频率＝2kHz，则是64ms)，则可以充分表现出触觉呈现定时的延迟降低效果。[0226]另一方面，可以以样本为单位执行预驱动的开始定时的确定。因此，即使帧Fr的时间长度较长，也可以以较高的时间分辨率执行确定。[0227]图11示出了具体处理过程的示例。[0228]注意，在以下描述中，与到目前为止描述的部件和处理相似的部件和处理被给予相同的参考数字和相同的步骤编号，以避免重复的说明。[0229]在图11中，与图10的不同之处在于执行步骤S202和S203，而不是步骤S107和S110，并且添加了步骤S201、S204以及S205。15CN112534381A说 明 书13/22页[0230]首先，在步骤S105中确定存在非零信号的情况下，解码单元34在这种情况下在步骤S202中执行输出信号S[n]的处理，并且然后，前进至步骤S204。[0231]此处，“n”是指示触觉信号的样本数量的时间索引(time index)，并且信号S[n]是指触觉信号的第n个样本的值。[0232]在步骤S204中，解码单元34确定帧是否已经结束，即，确定是否已经执行处理直到要处理的帧Fr的最终样本，并且在确定帧尚未结束的情况下，解码单元34在步骤S205中执行更新直至上升的时间T和时间索引n的处理，并且返回至步骤S104。[0233]此处，通过“T＝T‑1/Fs”来更新直至上升的时间T，其中，触觉信号的采样频率为“Fs”。[0234]此外，在步骤S109中确定是“T<Δt”的情况下，解码单元34在这种情况下在步骤S201中确定是否是“T≤0”。这与关于由时间索引n指示的时间是否是触觉信号中的目标上升时间之时和目标上升时间之后的时间的确定相对应。[0235]如果在步骤S201中不是“T≤0”，则解码单元34在步骤S203中输出振幅A，并且前进至步骤S204。因此，可以从变为“T<Δt”至紧接在“T≤0”之前执行振幅为A的预驱动。[0236]另一方面，如果是“T≤0”，则解码单元34在步骤S202中输出信号S[n]。因此，可以在上升时间之时和上升时间之后的上升部分处输出非零信号。[0237]通过图11所示的处理，可以以触觉信号的样本为单位确定预驱动的开始定时。[0238]这使得可以提高预驱动的开始定时的精度。即，可以增加触觉呈现实际开始的定时与原始定时之间的匹配精度。[0239][1‑6.第二变形][0240]此处，在以上示例中，预驱动时的触觉信号的振幅与上升高度A相匹配。即，已经给出了将预驱动的驱动信号强度设置为与上升高度A相对应的强度的示例。[0241]然而，在期望不是与最大振幅的时刻而是与触摸者开始感知触觉刺激的定时相匹配的情况下，以根据图12所示的振动检测阈值曲线的振幅执行预驱动是有效的。[0242]图12示出了指示与振动相关的人触觉灵敏度的
标准
excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载
的振动检测阈值曲线。注意，在图12中，横轴表示频率，并且纵轴表示触觉刺激(振动：此处为位移)的大小。[0243]振动检测阈值曲线是人是否感觉到作为触觉感觉的振动(即，触觉灵敏度)的实验性检查的示例。人不能感知小于该曲线的振动作为触觉感觉。[0244]因此，以等于或小于由这种振动检测阈值曲线表示的阈值的振幅执行预驱动。[0245]图13示出了驱动的示例。如图所示，这种情况下呈现的信号在预驱动的时间段中不超过表示为附图中的阈值Th的振动检测阈值。[0246]通过这种驱动，在比触觉信号的原始上升时间t1更早的定时不能感受到振动，但是与从振幅为0的状态的振动相比较，可以缩短达到期望振动强度所需的时间，并且因此，还可以减少所呈现的振动的最大振幅的时刻，即，与时间t1的偏差。[0247]注意，尽管已经给出了与振动相关的人感知阈值作为振动检测阈值的示例，但是对于除了振动之外的触觉刺激，类似地存在感知阈值。[0248]在所呈现的触觉刺激的强度达到与感知阈值相对应的强度的上升时间如此短以至于不需要考虑的情况下，预驱动的时间长度Δt也可以被预定为恒定值。可选地，还可以根据感知阈值的大小来确定时间长度Δt。16CN112534381A说 明 书14/22页[0249]此处，如图12所示的振动阈值曲线，感知阈值可以根据频率而变化。在这种情况下，解码单元34对触觉信号执行信号分析以指定上升部分的主要频率分量，并且以根据与频率分量相对应的感知阈值的振幅(驱动信号强度)来执行预驱动。[0250]可选地，可以跳过这种频率分量的指定，并且将预驱动时的振幅与感知阈值的最低阈值相匹配(例如，在图12的示例中，阈值与300Hz附近的阈值相匹配)。[0251][1‑7.第三变形][0252]第三变形涉及考虑人体的接收器的特性的方法。[0253]众所周知，人皮肤下存在用于感知触觉信息的多个接收器。通常已知的接收器包括迈斯纳小体(Meissner’s corpuscles)(以下简称为“迈斯纳”)、梅克尔细胞(Merkel cells)(以下简称为“梅克尔”)、鲁菲尼末梢(Ruffini endings)(以下简称为“鲁菲尼”)以及帕奇尼小体(Pacinian corpuscles)(以下简称为“帕奇尼”)。[0254]迈斯纳和帕奇尼也被分别称为“FA1”和“FA2”，其中，FA是“快速适应”的简称。梅克尔和鲁菲尼也被分别称为“SA1”和“SA2”，其中，SA是“缓慢适应”的简称。[0255]梅克尔(SA1)在按压对象的同时继续发生神经点火，并且据说检测强度(位移和压力)。迈斯纳(FA1)据说检测对象的按压量变得恒定的部分中的速度。帕奇尼(FA2)据说负责检测按压变化量变化的部分中的加速度。[0256]图14示出了每个接收器的振动检测阈值曲线。[0257]在附图中，由实线指示的阈值Th‑m表示梅克尔的振动检测阈值，并且由虚线指示的阈值Th‑p表示帕奇尼的振动检测阈值。注意，图12所示的振动检测阈值曲线并未示出单个接收器的特性，但是如图14所示，示出了由多个接收器获得的触觉感觉的同步特性。[0258]如图14所示，振动检测阈值曲线根据接收器而变化。使用该特性还允许基于触觉信号的上升部分的主要频率分量和接收器的特性动态地确定预驱动的时间长度Δt(预驱动的开始定时)和预驱动时的振幅(预驱动的驱动信号强度)。[0259]作为具体示例，由阈值Th‑m指示的梅克尔具有相对较高的感知阈值。此外，梅克尔具有较低的时间响应性。因此，在触觉信号的上升部分主要包括低频率分量(例如，3Hz至2Hz或更小)的情况下，与上升部分相对应的触觉刺激被视为主要由梅克尔感知，触觉呈现装置6可以提前较大幅度的振动，并且允许刺激呈现定时的略微偏差。[0260]另一方面，由阈值Th‑p指示的帕奇尼在约200Hz的相对较高的频段中具有较低的感知阈值，并且表现出良好的灵敏度。此外，帕奇尼具有较高的时间响应性。因此，在触觉信号的上升部分主要包括高频率分量(例如，200Hz或更高)的情况下，与上升部分相对应的触觉刺激被视为主要由帕奇尼感知，并且减少预驱动时的振幅。[0261]此处，设想了编码单元24执行用于识别感知上升部分的触觉刺激的主要接收器的信号分析。在这种情况下，例如，编码单元24存储指示感知帧Fr的报头的目标上升部分的触觉刺激的主要接收器的信息。基于指示主要接收器的信息，解码单元34确定预驱动的时间长度Δt和预驱动时的振幅。[0262]注意，还可以在解码单元34侧执行用于识别感知触觉刺激的主要接收器的信号分析。[0263][1‑8.第四变形][0264]到目前为止已经假设了由解码单元34以预定方式计算并且获取预驱动的时间长17CN112534381A说 明 书15/22页度Δt和预驱动的振幅的描述，但是预驱动的时间长度Δt和预驱动时的振幅可以通过诸如触摸者的用户的操作来调整。[0265]图15示出了用于调整的图形用户界面(GUI)的示例。[0266]具体地，图15示出了在再现装置3具有诸如液晶显示器或有机电致发光(EL)显示器的显示装置和形成在显示装置的显示屏幕3a上的触摸屏操作器的情况下的GUI的示例。该附图示出了显示在显示屏幕3a上的滑坏操作器SL可以调整预驱动的时间长度Δt的长度或预驱动时的振幅的大小的配置的示例。[0267]这使
浙公网安备 33021202002483