无人机倾斜摄影建模技术在虚拟现实中的应用

远方~ · 发表于 2020-6-24 15:42

1 应用系统设计流程及关键技术

本文将无人机倾斜摄影建模技术应用于在虚拟现实中，其应用系统设计流程如图 1 所示。具体步骤为：
①通过无人机航拍采集倾斜影像，检查相邻航带侧视影像飞行方向是否一致，确定图像放置位置和摄像机参数设置，确定无误后便可以进行空中三角测量。
②在确认影像数据正确后，进行空中三角测量。根据少量的野外控制点，进行控制点加密，获得精确外方位元素，并通过多视影像密集匹配寻找连接点，构建三维 TIN 网格。对于数据较大区块，需要进行数据分块处理，本次实验选择自适应切块，可以快速的自适应计算机 RAM 使用量，根据当前计算机的性能给出一个参考范围，在范围内设置目标 RAM 使用量值来顺利进行三维重建。
③根据三维 TIN 网格每个三角形瓦片的法线方程与二维图像之间的夹角筛选出对应的最优纹理信息，完成自动纹理映射；
④ 输出并获得 OBJ 格式三维场景模型，并导入 3DS  Max 中进行场景优化。将其转为可编辑多边形，便可进行悬浮物删除，模型裁剪、变形修改等操作，然后在 UVW 展开界面修改映射错误的纹理。
⑤将优化好的模型导出 OBJ 格式至 Unity  3D 引擎，通过C#语言写动态交互功能脚本，实现场景的实时驱动、用户界面和场景漫游等功能，完成该虚拟漫游系统。

1.1  倾斜影像联合空中三角测量由于无人机航拍的倾斜影像中不仅有垂直影像数据还包括多个倾斜角度拍摄的影像数据，传统的同名像点自动量测算法已不能适用于倾斜影像。通过在同一飞行平台上使用多个传感器，在拍摄影像时记录影像参数：包括航高、航向、航速、旁向重叠度和坐标等，获取以拍摄瞬间的 POS 观测值作为原始影像粗略的初始外方位元素，结合传感器的成像模型，通过成像模型可计算得到多视影像上每个像元的物方坐标，进行相对定向，再进行精确匹配，结合少量的野外控制点(像控点)坐标，得到倾斜影像联合空中三角测量成果。
1.2  多视影像密集匹配及TIN网格构建多视影像进行密集匹配的实质就是确定影像之间的同名像点。为防止遮挡对匹配造成的影响，匹配过程中还需过滤冗余信息。影像匹配的算法分 3 类：灰度匹配、特征匹配和关系匹配，匹配的共性就是在影像上按照匹配策略找同名点。根据获取的同名点坐标，生成高密度 3D 点云数据，得到不同细节层次三角 TIN 网格模型。同时，通过相关算法的优化，简化了相对平坦区域的三角网络，减少了数据冗余，进而获取地物的三维信息。因此，影像匹配是后期自动生成数字表面模型、三维建模的技术基础。
1.3  多视影像联合平差目前相对成熟的多视影像联合平差方法为:利用由粗到精的金字塔匹配方法。利用 POS 系统得到的多视影像外方位元素，实现每级影像同名点的自动匹配以及自由网光束法平差。当获得了比较好的同名点匹配结果时，建立像控点坐标、GPU/IMU 辅助数据和连接点线的多视影像自检校区域网平差的误差方程，经过联合解算，保证平差结果的准确性。
1.4  重建自动纹理映射技术倾斜摄影技术在虚拟城市中作为一项重要数据源，自动纹理映射技术可以从海量的影像数据中，快速、高效获取丰富的纹理信息，能够真实地反映地面的客观情况，生成高质量的三维场景，满足现代社会的需求。
传统的城市三维建模的方法是：结合正射影像、测区 CAD 地形图等数据，建立初始白模，在实地采集照片，然后对照片进行处理，将纹理映射在白模上。这种方法消耗大量的人力、物力、财力。
自动纹理映射技术的出现就能够很好地解决这个问题。无人机倾斜影像一般都是较高分辨率的影像，可以很好地呈现实地情况，满足一定精度的建模。自动纹理映射技术是利用影像的内、外方位元素，恢复拍摄影像时的瞬间姿态，然后通过联系模型面与倾斜影像之间的索引关系，以三角网（TIN）模型为基础，根据数字三维技术和空间几何技术相结合，对每一张影像数据进行空间筛选，找出最符合模型的影像集，进行影像像素采样并读入到模型上，自动完成纹理映射。
1.5  场景漫游技术虚拟现实注重人机交互的过程，其中场景漫游技术的重要性便不言而喻了。场景漫游技术是指在虚拟场景中借助必要的装备实现全方位多角度浏览该虚拟场景的操作。如：通过键盘控制和鼠标控制,能让用户在虚拟场景中前后左右任意方向行走等。在设计方面，本次实验制作分为空中漫游和地面漫游，通过控制飞机的姿态倾斜和速度快慢实现对虚拟场景的鸟瞰、俯视和穿梭等操作，另外也可将飞机着陆并进行地面漫游，其界面中加入实时地图导航，极大的赋予了该场景漫游的多样性，给人不一样的观赏感受。

2 模型实现
本次实验采用的建模系统为 Smart3D Capture 全自动三维建模系统。Smart3D Capture 处理流程如图 2 所示，局部区域三维场景如图 3 所示。
▲图3 局部区域三维场景
2.1  三维模型的优化如今，倾斜摄影技术在三维场景建模方面取得了一定的成就。Smart3D Capture 软件系统强大的数据处理能快速生成三维场景模型，但是还是有些地方是需要进行改进和完善的。如在树林、水面、不规则的建筑物或是在建筑物遮挡比较严重的地方，建立的模型会存在一些变形或缺失。为了解决这些问题，后期我们可以用 ZR-Modeler进行模型优化处理，主要进行模型悬浮物的删除、模型的裁剪、模型纹理错乱修改、模型变形修改等，模型纹理修改前后如图 4 所示。
▲图 4 模型纹理修改前后
2.2  三维模型的精度分析在三维模型浏览平台下查看模型的结果，地形的纹理、颜色、形状和空间位置基本上与现实环境相同。地理要素类型齐全，建筑、道路等主要设施轮廓清晰。进行空中三角测量的影像成功率为 96.99%，空中三角测量误差报告中误差各值小于 1 像素。空中三角测量误差见表 1。为更直观体现模型精度，对模型中图书馆楼梯的长度和宽度进行了量测和检验，详见图 5 所示。 ▲图 5 图书馆楼梯长度量测
从 Acute3D Viewer 中量测可以得到图书馆长宽分别为 35.77 和 13.90 m，实地用 30 m 钢卷尺测量出的长宽分别为 35.73 和 13.87 m，模型中量测值与实地量测数据十分接近，充分体现了模型的高精度，为后续的系统应用提供了精度保障。
3 系统实现Unity 3D 是由 Unity Technologies 开发的多平台集成游戏开发工具，可让用户轻松创建交互式内容。本文采用 Unity 3D 引擎构建校园虚拟漫游系统，具有模型兼容性好、运行稳定、交互设计多样等优点。以桂林理工大学为试验地区，规划功能需求，制定桂林理工大学虚拟漫游系统设计方案，系统实现流程如图 6 所示。 ▲图 6  系统实现流程

3.1  场景模型导入
将 3DS Max 导出的 OBJ 格式的模型文件置入 Unity3D 场景中进行位置摆放。创建灯光以实现在不同气候条件下的校园场景，如晴天，阴天，雾天、雨天等场景。调节光线，调整至合适亮度，体现出空间层次感。添加碰撞，可以用内置的 Box Collider 或者 Mesh Collider 碰撞组件，对地面、建筑和树等场景添加该属性。
3.2  角色漫游的设计与实现
在虚拟系统中，实现漫游是最基本的功能，Unity 3D 已经设计有角色控制器组件（Characters），Import Package→Characters，可以直接调用，需要调整视角、位置、奔跑速度和加速度等参数。默认情况下，用户按下 W、S、A 和 D 键，同时控制鼠标调整视野位置，实现人物在场景中漫游的效果。
3.3 GUI界面的设计和实现
在本漫游系统中，GUI 界面是用户与系统之间的桥梁。通过 GUI 界面的引导，用户可以进入其他界面进行浏览，同时用户也可以自行选择不同的场景，实现相应的漫游功能。在 GUI 主界面，共创建了多个菜单选项，包括校园漫步、校园航飞、学校简介、导航、帮助等菜单选项。本系统中 GUI 界面的创建，首先在工程视图中，右击 Create→UI，将所需要的控件加入到 Canvas，并调整到合适的位置，最后将控件所要实现的功能代码加入到 UI 中。由于组件较多，可以构建思维导图用来规划逻辑，以免遗漏。主界面 GUI 如图 7 所示。

▲图 7  主界面 GUI

3.4  系统生成
先点击页面左上方的 file→Building settings，或者用快捷键 Ctrl +Shift +B 快速进入，点击 PC、Mac 所在的图标，选择 Windows 系统，根据电脑选择×86 还是×64，点击 Build，给生成的文件夹重命名和选择导出位置。

三维数字校园漫游界面如图 8 所示。

▲图 8 三维数字校园漫游界面

4  结束语
本文结合虚拟现实技术和无人机倾斜摄影技术设计并实现了校园虚拟漫游系统。利用倾斜摄影技术以及强大的图像几何运算软件（Smart 3D Capture）来生产城市三维模型方法的可行性，快速构建三维场景，并应用 3DS Max 建模软件进行场景优化，最后导入 Unity 3D 引擎实现虚拟漫游的技术路线和实施方案，实现了三维交互式校园布局展示功能。该系统开发基本达到预期目的，实现了碰撞检测、虚拟漫游等功能，该系统的研究和实现对后续虚拟城市项目建设具有重要的现实意义。

文章转载于：三维前沿

作者：康传利，程耀，石灵璠来源：《桂林理工大学学报》
版权归原作者所有，如有侵权请告知删除