大数据GIS技术--地理智慧数据驱动

1003521946 · 发表于 2017-9-6 15:50

当前，基于空间的大数据应用话题层出不穷。然而，空间大数据只是“贫矿”，如果不加以“开采”分析，不能产生其应有的应用价值。Hadoop、Spark等大数据平台本身不具备空间维度的分析和计算能力，而空间大数据挖掘分析技术门槛高，这在一定程度上阻碍了空间大数据的应用和推广。

超图空间大数据组件(iObjects for Spark)基于超图 iObjects for Java 和最新的Apache Spark 计算框架开发，不仅能将iObjects for Java直接嵌入到Spark运行，还能快速进行二次定制开发，满足用户多样需求。使用空间大数据组件, 可高效的实现空间大数据的存储、检索、管理、分析和可视化，让空间大数据挖掘更简单和高效。

架构图

空间大数据组件采用HDFS、HBase、MongoDB、PostgreSQL和星环分布式引擎等大规模分布式存储系统进行空间数据的存储，能够处理大规模的矢量、影像和流式数据，且兼容已有的GIS系统，并扩展GIS的数据服务和空间分析能力到整个IT基础设施。通过使用分布式存储系统和Spark集群技术，GIS用户将可以轻松管理和分析传统关系型数据库无法处理的大规模数据。

空间大数据组件通过扩展Spark的RDD(分布式弹性数据集)，不仅支持大规模空间数据的空间查询、临近分析、插值分析、缓冲区分析等传统空间分析，还支持聚合分析、密度分析、热点分析、地图匹配等高级空间数据处理和分析功能。而通过使用Spark Streaming ，用户可以快速对空间流式数据进行分析。通过集成 GIScript 开源地理信息处理系统和R 数据统计分析工具，用户可以使用 Python 和R工具高效的进行空间数据的统计和价值挖掘。