|
|
原创：如如不动
为落实党中央、国务院关于不动产统一登记的要求，自然资源部办公厅、国家林业和草原局办公室联合发布《关于进一步规范林权类不动产登记做好林权登记与林业管理衔接的通知》（自然资办发〔2020〕31号），明确表明要加快林权登记数据整合入库工作。
各地纷纷围绕存量林权数据进行整合，将存量数据整合进入不动产数据登记管理系统内，我业务登记手里提供数据支撑。
由于诸多原因，导致林权数据整合在实际操作中面临诸多的困难，特别是技术方案与技术路线的落实需要花费大量的人力物力，这样就给林权的数据整合提升了不少的难度。
今天就分享一下FME在林权数据整合中的一些应用，如何来节省人力资源，提高数据整合的效率。
一、 FME在档案资料电子化的运用
存量数据整合所面临的情况就是查档和资料的补录，这是一个比较耗费人力的工作，如何让FME在这一个工作环节提高我们的效率呢？
FME处理在数据格式转换之外还支持调用JAVA、Python等编程语言，同时也支持机器学习和深度学习。
在档案电子化的过程中可以通过Python调用谷歌的汉字识别库Py tesseract来实现特征值提取，然后在FME中利用正则表达式进行数据清洗，使得数据符合我们的规范需求。
虽然利用这种方式并不能完成扫面件资料百分百的文字内容提取，但是已经能够完成大部分的提取工作，最后我们也字需要在输出的时候对部分无法提取完整的地方进行标记输出为过程记录信息，人工辅助处理一下即可，即使这样，也能很大程度的将人工工作转由机器代替，从而提升我们的效率。
二、 利用FME对存量数据的清洗
众所周知，FME在数据治理、数据清洗方面具有较强的优势，源于它对多源数据格式的读写支持和能力丰富多样的的转换器。
林业数据在早期林业系统中有一套独立的登记发证系统，但是各地的情况不尽一致。加上在林权多半权利类型上对林权宗地进行了林地所有权、林地使用权、林木所有权、林木使用权进行了区分，但是在发证管理中没能有效的将所有权（林地所有权）和使用权（林地使用权、林木所有权、林木使用权）从数据库表结构上进行分开。我们可以利用FME对存量数据进行分析梳理，配合原系统的字典表与关联关系就可以将数据库中的一些字典代码进行统一规范，无法关联的进行关联；也可以利用相关数据库逻辑规则对原始数据库进行筛选，将需要人工核对处理的案件进行输出，避免了人工对所有的数据梳理的情况，将人工梳理后的数据又可以通过FME快速更新到原数据，这样会很大程度提高效率；
三、 初步实现宗地的落图落宗
林权发证多由地方林业局（站/所）技术员实地勘界后发证，囿于技术水平，多采用1：10000（或较大或较小一个等级）地形图套合小班数据制作纸质图件进行踏勘，踏勘完成后在图件上手绘范围，最后把手绘图纸直接夹在资料中。发证面积通过图件数方格网，然后利用成图比例尺进行计算得来。
这就造成了早期的林业登记发证数据矢量数据的缺失，需要人工从扫描件中取出矢量轮廓。然而这样取出的矢量轮廓并不能真实地反映宗地的坐标与面积，主要是由于制作扫面件的过程中并没有按照严格的制图比例尺规范进行扫描制作，导致图形只是在外观轮廓相似但是其实际大小和空间位置完全不一致。
结合各省级林业部门所整合的“林业一张图”数据中的“权属坐落单位”、“林班号”、“小班号”、“图幅号”等信息，结合发证信息中的“发证面积”、“林班号”、“小班号”、“所在村委会”等信息我们可以利用FME根据发证面积对无坐标面积的描绘图斑进行图斑大小的调整，面积精度可以控制在小数点前四位。然后根据已有“林业一张图”中信息与宗地信息进行关联并获取宗地的“大致”位置，实现宗地的批量落图落宗。
将初步落图落宗成果输出为纸质文档进行实地调绘踏勘，这时为了尊重历史并且兼顾客观事实，只需要在调绘的时候确定图斑位置即可。
很多项目在这一步采用“人工+ArcGIS”的方式进行，这里虽然也能完成落图落宗，但是在图形挪移过程中描摹的图形与空间坐标的距离过大往往会导致软件的卡死或者闪退，很难从技术熟练程度提升处理效率。并且没有办法快速将属性信息带出来，如果需要后期关联属性只能人工录入关联字段实现，从流程上增加了工艺流程，不利于效率的提高，利用FME能够很好的提高效率并关联属性。
四、 利用FME实现入库前质量检查
数据生产过程中数据质量往往是最难控制的，特别是类似林权类的数据整合入库的项目。
项目本身具有历史数据的特殊性和项目参与人员的复杂性（过多的实施人员参与容易造成数据质量的参差不齐），项目管理部门很难实行有效的质量管理，而市面上又缺乏数据整理过程中的数据质检控制检查的工具。
矢量空间数据与登记发证业务数据，数据类型不一致、数据属性量大、数据连逻辑关系复杂等因素，导致抽样的人工检查无法完全对数据进行质量把关，完全的人工质检又会导致项目的进度停滞，这种情况下FME无疑是最好的选择。
从数据正确性、完整性、关联性、逻辑性这几个数据质检的基本逻辑出发，结合业务关系、空间关系、数据库表关联关系、数据前后一致性关系等实际情况，就可以利用FME搭建一套较为完整的过程数据质检流程，只需要安排专人进行数据的收集、过机检查、错误反馈就可以在项目中形成较为完整的数据质量控制方案。从而做到每一个流程的数据基本无错误，不给后面的工艺流程表留质量隐患，真正做到“事前控制，防患于未然”。
五、 利用FME实现整合数据的入库和回库
数据整合类项目一般都包含数据的入库和回库这两个工艺流程，入库是指按照汇交要求或者最新的数据库规范要求进行整合数据建库；回库是指将整合后经检查无误的数据进行平台数据更新；
不动产数据库存在“图多”、“表多”、“字段多”等特点，且各地的不动产登记系统不同，市面上有没有较好的建库回库工具，FME就能很好的实现入库和回库功能。
只需要结合已有数据情况、数据库标准情况就可以自行搭建一个建库平台，充分利用FME对多源数据格式的读写支持能力、图形的处理能力、属性的处理能力、不同表（空间）的关联能力、数据扇出能力等优秀功能实现系统化入库，减少了大量的人工入库工作，避免了人工入库过程中的人工失误情况。
即使FME入库的流程搭建的有瑕疵在入库后的问题也是系统性的问题，这样我们在进行数据库更改的时候直接更新流程逻辑，这样就能优化我们的流程，提高效率。
FME支持不同种类的数据库（如SQL SERVER、Oracle、PG），并且支持读写ArcGIS所拓展的sde空间数据，这就给我们的数据回库创造了方便，我们只需要弄清楚系统库与现有数据的关系，就可以像建库一样搭建一个便捷的回库流程，快速方便的完成建库。
其实，FME对于我们数据处理来说是一款非常不错的软件，无代码式编程，只需要对数据足够了解，将那些大量需要人工重复性完成工作用逻辑赋予机器相关的能力，FME就能够解放出足够多的人力资源，并且保证质量，提高我们做项目的效率。
————————————————
版权声明：本文为CSDN博主「fmechina」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/fmechina/article/details/120767001
|
|
雷达卡
.gif)
发表于 2021-10-18 13:40
提升卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2021-10-22 19:40
:zt:zt:zt