面向航空仪表设计的增强现实系统的设计与实现

【类型】学位论文

【作者】郝爽 

【关键词】 三维注册 几何一致性 虚实交互 环境光照 光照一致性

【摘要】随着增强现实技术的日益成熟，其应用已渗透到各项工业生产中，如飞机驾驶舱仿真设计、新型汽车展览及石油管道设计等。它们的共同特点是：1、采用三维建模的方法设计虚拟数字化模型，2、用摄像机捕获实时背景视频，3、采用特殊的定位算法将虚拟模型和相关的辅助信息注册到实时背景的对应位置。根据增强现实的特点，利用一些辅助设备，增强现实系统可以应用到原型设计和现场施工作用中。本文以863重点项目“虚实融合协同工作环境技术与系统”中的子课题“面向飞机驾驶舱设计的应用示范”为背景，研究涉及到的增强现实关键技术，为大型客机设计和研制提供支持。该面向航空仪表的增强现实系统主要面临三个问题：1、如何将虚拟仪表板实时地注册到背景视频上，2、如何实现用户与仪表板上按钮之间的交互，3、如何实现仪表板的光照信息与环境光照保持一致。本文设计并实现一些方法来解决以上三个问题。本论文的主要研究成果如下：1.设计并实现了驾驶舱仪表板的混合三维注册方法。针对复杂的驾驶舱结构，本文设计了一种将视觉注册和光学式跟踪相结合的混合三维注册方法。该方法有效地解决了由于遮挡导致的注册失败问题，并具有很好的精确性和高效性。在离线计算时，该方法主要利用视觉方法计算摄像机在世界坐标系中的外参，然后计算红外marker在世界坐标系中的姿态矩阵。2.实现了驾驶舱仪表板的虚实交互。虚拟物体三维注册之后，飞行员与虚拟物体的交互实现了对仪表板的各种操作，包括仪表板上的各种虚拟按钮及飞行员的各种手势。采用基于刚体的虚实交互方法，精确地实现了驾驶舱内真实物体和虚拟物体的交互。该方法主要包括两部分，一部分是三维按钮在世界坐标系下的包围盒的计算，另一部分是跟踪器到世界坐标系的刚体转换矩阵的计算。3.改进并实现了驾驶舱内环境光照计算方法。针对驾驶舱内光照一致性问题，我们采用基于小波的方法，在预计算阶段，对环境光照、材质反射属性进行采样，并对采样结果进行小波变换，然后投影到小波基函数，得到小波系数并存储；在实时绘制阶段，根据当前法向量和视线方向查找预计算得到的光照和 BRDF 小波系数，对两者系数做向量积求得顶点颜色。4.实现了基于航空仪表的增强现实软件系统。基于仿真硬件平台，我们设计了本文相关算法的软件系统，包括三维注册模块，视频处理模块，虚实交互模块，环境光照计算模块及仪表设计模块。本文从软硬件环境、系统总体设计、系统各模块的实现及实验运行分析等角度来介绍该系统。

【学位名称】硕士

【学位授予单位】北京航空航天大学

【学位授予年度】2016

【导师姓名】沈旭昆

【读秀链接】读秀链接