PhotoMesh7.3新功能介绍

photomesh

背景PhotoMesh倾斜摄影自动建模软件，专注于海量数据高效运算，真正实现“一次飞行，多元测绘级成果输出”，引领了全要素实景三维大数据浪潮。在全国倾斜摄影联盟主办的倾斜摄影微课堂泰瑞专题课程中，泰瑞CTO黄栋博士从PhotoMesh的发展历史，到最新PhotoMesh7.3的功能特点，再到新一代的智能测绘工具CIM Generator，做了全面的讲解，和大家共同探讨智能测绘时代实景三维数据处理的新技术和发展趋势。

分享嘉宾黄栋，泰瑞数创科技（北京）有限公司 CTO，于德国卡尔斯鲁厄大学获得计算机博士学位。北京航空航天大学软件学院特聘教授。曾在西门子公司通讯安全研究中心(Siemens Corporate Research)工作, 从事信息系统集成和通讯系统开发工作。专业领域包括移动互联网和基于位置服务应用研发和设计，SCADA和智慧工厂，GIS系统以及智慧城市系统等。目前工作和研究重点为实景三维数据处理和GIS应用，计算机视觉和人工智能等技术在地理信息行业的应用等领域。课程开始PhotoMesh发展历程PhotoMesh作为一款倾斜摄影建模软件，早在2013年就进入了中国市场。当时正是倾斜摄影在国内发展的起步阶段。最初的时候我们处理了两个比较有代表意义的项目：一个是当时国内建模面积的最大的项目，另外一个是当时单位面积相片数最多的项目(10镜头)。在项目具体实施过程中，我们发现无论进行如何优化，受限于机器的处理能力，单个工程能承载的相片数始终是有限制的。这造成人员工作量剧增，硬件资源利用不足、生产过程中重复工作的情况屡屡出现。我们意识到当时所OEM的产品对海量数据处理能力存在先天的不足。所以我们就中止了和原来OEM产品的合作，从底层算法开始重新研发了一款能从架构上解决效率问题的产品。经过泰瑞和Skyline两年多的共同研发，于2015年9月在INTERGEO展会上推出了完全自主研发的PhotoMesh6.6。最为业内好评的是空三分布式计算机制，这个绝对不同于市场其他软件的简单的工程分割合并。PM从空三分块、到融合联合平差，整个过程全自动，完全无需人工工作量。最大限度的降低人为拆分的工作量和测区接边带来的误差。解决了单个工程数据处理量的瓶颈，为城市级海量数据快速建模提供解决方案。

如想具体了解，请参见2016年底PM公开课的内容：http://mp.weixin.qq.com/s/ST5YpiNsyjiux8ZPqcb4hA PhotoMesh7.3

新功能01第三方空三成果导入首先还是关键中的关键——空三。目前市面上其他倾斜建模软件，在利用第三方成果方面，仅是利用计算出来的外方位元素，无法利用全部空三成果。而有一些项目会提供基于摄影测量专业空三软件空三后的成果，比如StellaCore (PictoVera), Bingo , INPHO (Match-AT), VisionMap A3 (LightSpeed)。PM 7.3提供了外部空三导入工具，可以直接利用Bingo, INPHO和StellaCore等平台的空三成果直接进行建模。一方面可以避免再次空三带来的重复计算工作，跳过空三阶段直接建模，另一方面可以满足对精度要求特别高的项目需求。02空三算法提升另外在7.3版本采用了多层级自动特征提取算法，提升了倾斜摄影空三质量。对于无序和低重叠率数据有了更好的支持，同时可以修正由于天气原因等造成质量差的相片无法参与空三过程等问题。 03测绘级真正射影像成果目前倾斜摄影建模的附属产品-TDOM真正射影像已经得到了越来越多用户的认可，但是目前市场上的软件多采用模型纹理提取的方法来生成，成果质量很大程度上依赖于建模的质量，难以达到测绘级别的要求。例如倾斜摄影建模过程中带来的细节缺损使得真正射影像存在非常严重的结构损失、色彩斑驳、路面车辆等局部物体存在严重失真破损等问题。7.3版本从底层进行了算法重构，更新了真正射影像生成机制，以模型为参考，以原始影像为输出，大幅度的提升了真正射影像(TDOM)质量。PM 7.3输出的真正射成果，不再存在结构损失和纹理失真，并且实现了真正的无缝拼接和色彩均衡，可以实现测绘级成果提交应用。这是和之前6.5版本(OEM版)的对比。从上面这个对比图就能看出前后两个版本输出质量的差异。更多细节可以参见下面的动态图片。

04扩展视频建模功能PM 7.3里视频建模功能有进一步的扩展，支持了加载全景视频(FMV)文件，并提供便捷易操作的视频编辑器，可以直接预览视频，支持自定义裁剪视频片段导入帧文件进行建模。PM 7.3支持常见的视频格式,如avi、wmv 、mov  、flv 、 mp4、asf 、mkv 、mpg等。 05纹理映射优化PM 7.3采用全新的金字塔算法，实现模型在不同的金字塔层级下都有优异的性能和更好的渲染效果。另外加入色彩均衡算法，优化了色彩直方图，场景整体纹理细节更突出。 06模型结构优化PM 7.3提供高密度点云匹配算法，用户可以自定义模型点云密度，可以输出高密度点云，对于自然植被(如树木)有更好重建效果；同时改进了移动物体删除算法，对移动对象可以更智能的识别可剔除(如汽车)。增强边缘提取算法可以自动生成UV边缘线，提升模型及贴图质量。 07模型修补功能扩展PM 7.3优化了模型修补流程，用户可以根据需求进行纹理修补、结构修补或者同时修补，软件会自动从相应的步骤进行重建，提高模型修补效率。 08虚拟节点（Fuser Farm）PM 7.3对CPU和GPU的利用率做了进一步优化，首次提出“Fuser Farm”机制，采用更智能的任务分发机制，可以充分调用大型服务器的硬件资源，提高计算效率。Fuser Farm，一方面是动态配置计算机硬件，合理分配任务，调度资源；另一方面，一台机器开若干个Fuser，充分利用(榨干)机器的性能。 09实景三维模型精准切割从7.2版本开始，PM 已经可以根据输出范围线，对模型三角面片进行精准裁切，输出边缘平直、无锯齿的单体模型。如下图，右侧是之前的效果，左侧是新版效果。在生产上，精准裁切的意义在于无冗余生产，可以按照行政区域的范围线精准输出三维模型。在应用层面上，精准裁切的意义在于可以实现真正意义上的模型物理单体化，满足不同用户的需求。 10点云融合建模因目前市场上支持影像融合激光点云建模的软件处理数据面积都很有限，我们将点云建模的差异点放在了真正能实现城市级别大规模多源数据融合建模技术上。熟悉TE Pro产品的朋友可能都会了解到之前我们对海量激光点云的加载和处理能力，PM正是在这样的基础上，实现了海量点云数据的快速处理。 下一代智能测绘工具CIM Generator以上讲述的是PM 7.3的一些新功能，接下来我们简单介绍下泰瑞和多方合作研发的一款产品，下一代智能测绘工具CIM Generator。说到CIM Generator的产生，其实也是机缘巧合。开始只是想研发一款能够修补实景三维模型的工具，但是随着人工智能技术的快速发展，我们发现语义三维模型将是实现智能测绘的数据基础，从而赋予了这个产品新的内涵。CG主要实现以下两个功能：1、修补实景三维模型：可以基于实景三维成果，利用人工智能和机器学习，自动提取轮廓线、构建完善屋顶(当然不局限于屋顶)，进行快速修补。2、生产语义三维模型：其输出成果是具有语义信息的语义三维模型，在生产过程中会自动赋予模型语义信息，为大数据分析提供基础数据。软件通过对输入源数据的深度学习，自动提取模型结构，有别于传统通过立体像对的单体模型结构人工采集方式，大大提升了采集效率、节省了成本。同时能够基于PhotoMesh输出的倾斜模型成果自动进行测绘级别的结构提取，自动进行航片纹理映射。有效弥补了倾斜数据由于航飞等问题造成的模型变形、纹理扭曲等不完美的问题。如下图所示，图一为原始倾斜模型，该数据是单镜头获取，可以看到由于侧面纹理覆盖获取不够，导致模型结构黏连，近地面纹理拉花等倾斜模型常见问题。航飞重叠度覆盖不够和漏拍问题是所有倾斜摄影软件不能解决的，倾斜摄影自动建模软件根本无法处理，只能通过CIM Generator这类产品通过从新的底层核心算法创新解决。图一   原始实景三维模型效果图二为使用CIM后自动提取的该建筑群的素模结构，图三为自动纹理贴附后的模型效果。图二 CIM自动提取结构效果图三 纹理贴附后效果然后，CIM Generator产品还能提供另一种单体化的技术路线。在PhotoMesh实景三维数据基础上提供精细化的实景三维模型自动单体化模型，实现了全自动城市模型单体化。  典型案例最后给大家分享两个项目生产案例。01西部某省案例去年我们配合客户做了覆盖60多个区县，160余个测区，总生产面积超5000平方公里。其中高峰作业期实现15天生产2000平方公里，最大工程原始影像数据承载量36万张(101平方公里)。充分验证了软件的空三分布式算法先进高效的特点，对于大型倾斜建模项目有指标性意义。 02广州案例我们再来看下我们正在实施的广州项目。整个项目覆盖广州主建成区，项目面积1800平方公里。目前该项目数据生产工作已经全部完成，仅用了两个人和几十台配置普通的服务器，历时两个月完成全部项目数据的生产。这里我还是要提一下PM的空三分布式计算。正是得益于空三分布式计算的机制，该项目才能够在低投入的基础上高效率的完成。在一定程度上，我们可以自信的说：对于海量连续城市级建模，只有PM能真正做到城市级别高精度测绘。有别于其他项目面多片广的特点，该项目在广州市主城区，数据非常集中。且华南的天气情况大家是知道的，航飞不易，影像时相差异大。该项目原始影像成果140T，建模成果数据量1.7TB。如何能够有效的组织模型成果，提高后期进入应用平台的数据加载渲染效率也是PM做的重点工作之一，PhotoMesh7.3版本的金字塔优化策略很好的保证了广州项目的数据浏览效率，实现了上千平方公里模型的秒刷。