基于数据手套的虚拟手势交互系统

收稿日期 :2007 - 04 - 25 基于数据手套的虚拟手势交互系统 周晓晶 ,赵正旭 ,楼 　江 (东南大学仪器科学与工程学院 ,江苏南京 　210096) 　　摘要 :人机交互是虚拟现实的关键技术 ,利用数据手套驱动虚拟手运动是一种自然、灵活和高效的交互方式。首先制 作了虚拟手的 3ds 模型 ,然后基于 VC ++ 和 OpenGL 软件平台创建了虚拟环境及导入该模型 ,并由计算机接口输入数据手 套的传感信号 ,并对该信号进行处理 ,获得驱动虚拟手运动的相关参数 ,最终实现虚拟手实时地完成手势识别和物体抓取 等动作。 关键词 :数据手套 ;传感器 ;虚拟手 中图分类号 :TP212 　　　文献标识码 :A 　　　文章编号 :1002 - 1841(2007) 10 - 0065 - 02 Interactive Hand Gesturing System Based on Data Glove ZHOU Xiao2jing ,ZHAO Zheng2xu ,LOU Jiang ( School of Instrument Science and Engineering , Southeast University , Nanjing 210096 , China) Abstract :Human2computer interaction (HCI) is a mainstream VR technology. To use data glove in driving virtual hand , it is a nat2 ural , flexible and efficient HCI control mode. We first developed a virtual2hand gesturing model and builded a VR environment. Then the 3ds model was imported on a VC + + and OpenGL platform. By processing the sensor signals , hand gestures can be identified and hand action like ball2grasping can be achieved. Key words :data glove ; sensor ;virtual hand 0 　引言 随着虚拟现实技术的发展 ,虚拟手作为一种自然、高效的 人机交互方式 ,被广泛地应用在虚拟装配、远程手术、机器人控 制及手语识别等各个领域 [1 - 2 ] 。数据手套是一种虚拟现实系 统的交互设备 ,通过数据手套上的传感器系统 ,可以将操作者 的动作变成传感信号输入到计算机 ,计算机读取并分析传感器 的信号 ,以便控制虚拟手做出不同的手势或抓取、移动和释放 物体 ,完成与虚拟环境的交互。基于数据手套的虚拟手交互系 统框图如图 1 所示。 图 1 　基于数据手套的虚拟手交互系统框图 1 　虚拟手的建模和导入 111 　虚拟手的建模 要完成数据手套和虚拟环境的交互工作 ,首先要创建一个 包括虚拟手在内的虚拟环境 ,为此利用 3DS MAX软件建立一个 虚拟手的模型。图 2 即是利用该软件建立的三维虚拟手模型 , 其中左上、右上和左下分别为顶视、主视和侧视图 ,右下为透视 投影图。该虚拟手由 16 个部分组成 ,包括有 1 个手掌和 5 个手 指 ,每个手指又是由 3 个指节组成的。虚拟手运动时 ,手掌部 分为父节点 ,即手掌的平移和旋转将带动 5 个手指共同运动 ; 每个手指为一个子节点 ,它们的动作将不影响手掌的运动。 图 2 　利用 3DS MAX软件建立的虚拟手模型 112 　虚拟手的导入 用 3DS MAX软件建立的是虚拟手的静态模型 ,要想让虚拟 手做出各种动作 ,必须将该 3ds 模型调入到虚拟环境中。为此 利用 VC ++ 语言加上 OpenGL 图形接口软件来建立一个视口 , 然后读取虚拟手 3ds 文件中的数据 ,并将它绘制在窗口中。由 图 2 可以看出 ,虚拟手的模型是由无数的三角形网格组成的 , 3ds 文件的主要部分就是按照一定的拓扑关系储存三角形所有 顶点的坐标 ,通过程序可以按一定顺序读出这些顶点的坐标 , 随后利用 OpenGL 开发接口 ,在显示窗口中重新绘制。这个过 程中 ,可以确定每个手指的旋转中心 (在每个指根中间) 和整个 手的旋转中心 (在手掌下部的中间)和旋转坐标轴。 2 　基于数据手套的虚拟手交互的实现 　2007 年 　第 10 期 仪 表 技 术 与 传 感 器 Instrument 　Technique 　and 　Sensor 2007 　 No110 　 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 211 　数据手套的传感器系统 采用的型号为 5DT Data Glove 5 的右手数据手套 ,如图 3 所 示。该数据手套配备有 7 个传感器 ,其中 A - E 为每个指头指 根弯曲度传感器 ,F为倾斜角度传感器 , G为旋转角度传感器。 7个传感器通过扁平电缆线和交互盒相连 ,交互盒通过 RS - 232 接口连至计算机串行口 ,用于驱动虚拟手按照操作者的动 作进行运动。 图 3 　数据手套的传感器系统 　　对比图 2 和图 3 可知 ,虚拟手有 16 个部分 ,而数据手套只 有 7 个传感器 ,所以每个手指的 3 个指节对应一个弯曲度传感 器 ,当人手操纵数据手套的手指弯曲时 ,该手指传感器的信号 通过接口传入计算机 ,计算机读取该信号后就改变虚拟手中该 手指的 3 个指节的旋转角度 ,使得该手指绕指根部分旋转相应 的角度。另外 2 个旋转和倾斜度传感器对应手掌的运动 ,当收 到传感器发出的旋转和倾斜信号后 ,虚拟手的手掌将带动 5 个 手指分别绕空间的不同坐标轴进行旋转。 212 　数据手套的标定 由于不同的人 ,手的大小不尽相同 ,因此为了达到手套的 最大灵敏度 ,保证输出数据的精度 ,在使用数据手套前必须对 手套进行标定 ,即确定手指在自然弯曲和自然伸直状态下传感 器的相应极限值。5DT Data Glove 5 数据手套有 2 种校准方式 : 自动校准和软件校准 [3 ] 。 自动校准指驱动器自动提供传感器输出的一种连续线性 标定方法。在每次更新期间 ,传感器读出的原始值与设置的最 大最小值 (rawmax和 rawmin)进行比较 ,如果超出了设定值的范围 , 就将最大和最小值刷新。用手连续快速地做弯曲运动 ,不断地 更新当前值 ,也就完成了对数据手套的标定。传感器标准输出 计算如式 1 所示[3 ] ,其中 max可由系统函数设定。 out = rawval - rawmin rawmax - rawmin max (1) 数据手套在工厂进行校准时 ,已经尽量获得最大可能的动 态范围 ,即传感器输出最大值 (手握住时) 与输出最小值 (手伸 平时)的差量。数据手套自带的驱动中有动态软件校准程序 , 可以根据操作者不同的手实时测量出各个传感器的最大值、最 小值和动态范围。戴上手套后反复伸展各个手指 ,注意保持动 作的自然性。当满意当前的最大值、最小值和动态范围数据 时 ,将数据保存下来 ,应用时可以随时提取。动态软件校准程 序设定的动态范围为 0～255 ,计算公式如下 [3 ] : Vscaled = Vmeasured - Vmin Vmax - Vmin ×255 (2) 利用式 (2) 将测量出的原始数据进行放缩得到最终校准的数 据。 213 　手指和整手控制的实现 为了完成手指和整手的控制 ,首先通过软件对数据手套进 行初始化 ,然后完成每个手指的传感器数据的读取 ,然后根据 读取的数据 ,并参照数据手套标定的结果进行适当的缩放 ,得 到对应的旋转角度值 ,最后驱动虚拟手相应的部分绕相应的轴 进行旋转。 214 　基于数据手套的手势识别 手势的定义是基于传感器的预设响应值和阈值的比较而 得到的。传感器的响应低于下阈值时将会返回值 1 ,表示对应 手指伸直 ;但传感器的响应高于上阈值时将会返回值 0 ,表示对 应手指弯曲 ;当响应在上阈值和下阈值之间时 ,将不返回值。 对每个手指的屈伸进行组合 ,便能定义不同的手势 [4 - 5 ] 。5DT Data Glove 5 的右手数据手套可以识别 16 种基本手势 ,图 4 显示 了几种手势的识别情况 ,其中每个手都对应一个手势号 (0 - 15)和一个手势名。 　　(a)手势 0 (Fist) (b)手势 1 ( Index finger point) (c)手势 5 (Ring2Index finger point) (d)手势 15(Flat hand) 图 4 　基于数据手套的手势识别 215 　数据手套和虚拟手的交互 利用数据手套不仅可以完成手势的识别 ,还可以控制虚拟 手完成抓取、移动和释放物体等动作 ,图 5 显示了利用数据手 套操纵虚拟手完成抓取虚拟球的过程。首先在虚拟环境中加 入一个虚拟球 ,图 5 (a) 为虚拟手和小球的原始相对位置 ;然后 控制整个手进行旋转和平移 (因为没有平移传感器 ,平移用键 盘控制代替) ,接近小球 ,如图 5 (b) 所示 ;最后通过数据手套控 制虚拟手做抓取动作 ,如图 5 (c)所示。 　　　(a) 　　　　　　　　(b) (c) 图 5 　数据手套驱动的虚拟手抓取虚拟球的过程 (下转第 70 页) 　　 　 　 　66　　　 Instrument Technique and Sensor Oct12007 　 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 线圈直径为 10 mm) 。电铸后的线圈无空洞、无断线、无翻边短 路 ,有较大的深宽比 (图 11) ,分割后测得每个定子线圈电阻为 2 Ω左右。与转子装配后对微电机进行测试 (图 12) ,发现电机转 矩波动小 ,运转平稳。 图 10 　微电铸切割后的平面线圈 图 11 　微电铸后的平面线圈局 部 图 12 　基于 MEMS 工艺的直径 10 mm微电机 3 　结论 通过有限元数值仿真分析 ,分别计算了同一直径电机匝数 变化对应的转矩值和电机直径变化对应的转矩值 ,得出了定子 线圈的最佳布线密度及精密机械范畴内电机所能达到的最小 直径。即定子线圈最有效的布线密度为线宽、间距均为 50μm ; 电机的最小尺寸由以下几个方面限制 : (1)从结构方面考虑 ,为减小轴向尺寸 ,轴承和磁环同轴且 一端共面 ,结构限制了转子直径的进一步减小 ; (2)从转矩上考虑 ,减小直径 ,转矩也相应减小 ,当直径减 小到一定程度时 ,转矩很小 ,在精密机械范畴内已没有实用意 义 ; (3)从永磁转子产生的气隙磁场方面考虑 ,随着电机直径 的减小 ,平均半径处的气隙磁密幅值逐渐减小 ,当直径减小到 小于 10 mm时 ,内外径处边缘效应的综合影响使气隙磁密幅值 显著降低 ,且磁密波形变形严重 ,最终导致电机产生的合成电 磁转矩纹波较大。以上因素共同限制了电机的最小尺寸 ,即精 密机械意义上的最小电机直径为 10 mm ,厚 4 mm ,通以 011 A 的 电流时能获得 47μN·m的转矩。 有限元法由于具体地计算了导线所处位置的磁密值及导 线的受力 ,使得电机的转矩计算比较准确 ,通过修改命令流可 以方便地计算电机不同尺寸参数对应的转矩值。为进一步减 小计算误差及完善仿真计算 ,需要更深入的研究工作 ,如对不 同直径、不同磁环厚度、不同定转子极数以及定子线宽与线间 距不同时的各类搭配 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 的电机进行建模计算 ,并辅以实验验 证 ,优化建模计算方法 ,以指导该类电机微小型化过程中的实 际设计。 另外 ,针对平面线圈的制作工艺 ,进一步的工作是深入研 究光刻、微电铸和深刻蚀工艺 ,制作更高深宽比的线圈结构。 成熟的定子线圈制作工艺可以应用在集成电路、大规模数据存 储系统以及微泵、微阀等 MEMS器件中所使用的高深宽比平面 线圈的制作中。 参考文献 : [1 ] 　TÊPFER J ,PAWLOWSKI B. Multi2pole magnetization of NdFeB magnets for magnetic micro2actuators and its characterization with a magnetic field mapping device.J . Magn. Magn. Mater. , 2004 , 270 : 124 - 129. [2 ] 　HAMEYER K,NIENHAUS M. Electromagnetic actuators —current devel2 opments and examples. Actuator ,1999. [3 ] 　郭占社 ,吴一辉 ,宣明 ,等. 电磁型平面微电机及其制作工艺. 光学 精密工程 ,2003 ,11 (2) :120 - 124. [4 ] 　章名涛 ,肖如鸿.电机的电磁场.北京 :机械工业出版社 ,1988 :51 - 65. [5 ] 　唐任远. 现代永磁电机理论与设计. 北京 :机械工业出版社 ,1997 : 311 - 314. [6 ] 　赵凯华 ,陈熙谋. 电磁学. 北京 :高等教育出版社 ,1985 : 387 - 390. [7 ] 　王国强. 实用工程数值模拟技术及其在 ANSYS 上的实践. 西安 :西 北工业大学出版社 ,1999 :209 - 212. [8 ] 　杨杰伟 ,吴一辉 ,贾宏光. 轴向磁化永磁微电机磁场分析及设计方 法研究. 光学精密工程 ,2006 ,14 (1) :83 - 88. [9 ] 　AYDIN M. Axial flux surface mounted permanent magnet disc motors for traction drive applications. Madison , WI : Department of electrical and computer engineering , University of Wisconsin - Madison , 2002. [10 ] 　T; PFER D ,CHRISTOPH V. Multi2pole magnetization of NdFeB sintered magnets and thick films for magnetic micro2actuators. Sensors and Actua2 tors A , 2004 , 113 : 257 - 263. [11 ] 　杨杰伟 ,吴一辉 ,王淑荣 ,等. 平面微电机定子线圈制作工艺研究. 微细加工技术 , 2006 , 89 (3) : 27 - 32. 作者简介 :杨杰伟 (1977 —) ,讲师 ,博士 ,研究方向为集成微光机电系统。 (上接第 66 页) 3 　结束语 通过数据手套进行驱动 ,操作者可以和虚拟环境中的虚拟 手进行交互 ,控制虚拟手完成各种动作。这种简单、自然的交 互过程大大改变了传统人机交互中利用键盘和鼠标进行交互 的生硬和刻板的感觉 ,提高了系统的稳定性、灵活性和精确性 , 同时增强了整个虚拟现实系统的沉浸感 ,必将大大促进虚拟手 技术的发展步伐。 参考文献 : [1 ] 　曾芬芳 ,梁柏林 ,刘镇. 基于数据手套的人机交互环境设计. 中国 图像图形学报 ,2000 ,5 (2) :153 - 157. [2 ] 　文刘 ,杨成密 ,徐脚 ,等. 数据手套系统中实时数据采集和图像显 示的实现. 计算机工程 ,2003 ,29 (6) :82 - 84. [3 ] 　Data gloves for the fifth dimension User’s Manual . February ,2000. [4 ] 　熊友军 ,李世其 ,王文涛. 基于数据手套驱动的虚拟机器人操作技 术. 机械科学与技术 ,2004 (12) :1433 - 1436. [5 ] 　田艺.基于数据手套的双手手势交互.浙江大学学报 ,2006(3) :1 - 2. 作者简介 :周晓晶 (1971 —) ,硕士 ,副教授 ,主要从事汽车电子仪器及虚 拟现实技术方向的研究。 　　 　 　 　70　　　 Instrument Technique and Sensor Oct12007 　 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net