云计算、物联网以及移动互联网的普及，促使产生了很多实时的带有空间位置的数据流。致使从海量数据中获取价值变得昂贵，而要及时获取价值则更加昂贵，这正是大数据实时计算越来越流行的原因。mapgis Streaming Service是基于Spark Streaming的实时大数据计算技术，通过将时空数据与Spark Streaming实时流计算框架深度融合，提供实时大数据的接收、处理与分析服务，轻轻松松让数据变得更有价值。
实时大数据计算引擎技术架构
MapGIS实时大数据计算服务支持多种数据传输协议，能够高效接入物联网、车联网等各种传感器产生的实时数据，提供流数据汇聚、时空归一化、地理围栏等多种时空大数据服务。以车联网数据为例，将行车记录仪实时传输回来的轨迹和视频数据接入大数据平台，通过实时大数据计算服务实现实时的聚类分析、热力分析、轨迹追踪、地理围栏。
基于kafka的高性能实时大数据汇聚 MapGIS实时大数据计算内部集成Kafka作为海量地理事件数据汇聚缓存的网关，将汇聚的地理事件数据采用多分区机制分散在不同的节点上，通过在Spark任务中配置等量的CPU资源，以最大并行度消费kafka中地理事件数据，提升实时大数据汇聚数据的性能，随着Kafka分区数量的增加，实时大数据计算引擎消费kafka中地理事件的性能有一定的提升。
基于Spark Streaming的流计算服务 MapGIS实时大数据计算基于Spark Streaming技术，底层使用Spark计算框架，充分利用其分布式、内存计算的特性，以时间为单位，将汇聚来的海量地理事件数据流切分成离散的数据单位，每批当成流式的RDD，从而进行分布式并行计算，甚至Spark Structured Streaming将连续流式地理事件映射为一张表，从而统一了批量、实时计算接口。
如下图所示，MapGIS将实时大数据计算任务看成一个个的服务，每个服务内部会驱动一个Spark Streaming任务，一直运行，每个计算服务将整个处理过程分为输入控制器、处理器、输出控制器三种类型的处理过程，通过流程配置的方式，将不同的输入控制器、处理器、输出控制器串联组合起来，较灵活的形成各种流计算服务。
基于配置式流计算服务设计工具 MapGIS实时大数据计算为WebGIS用户提供Web端的图形化、可视化计算服务设计工具，拖拽的操作方式，让用户轻松设计出符合自己需求的计算服务，依托MapGIS强大的空间几何计算能力，内置DataStore存储系统的输出控制器及常用属性过滤、处理功能，并提供灵活的输入控制器、处理器、输出控制器等组件扩展接口，供二次开发人员使用。
基于WebSocket的流数据服务 MapGIS实时大数据计算引擎对动态的实时地理数据源提供流数据服务，当数据到达计算系统并处理完之后，通过流数据服务将结果实时反馈到业务系统或可视化系统进行实时显示。MapGIS流数据服务基于WebSocket全双工的通信协议，使得Web客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据，相比传统客户端轮训的方式，能节约客户端的带宽，减少服务器压力，客户端获取数据时效性提升，具有较多优势，通过使用MapGIS封装的流图层，使Web客户端能快速对接流数据服务。
海量的物联网地理数据实时汇聚、处理、存储 基于MapGIS实时大数据引擎，实时接入某地区一万左右车载设备实时轨迹数据，每个设备间隔5~10秒回传一个实时地理位置位置数据到服务器端，实时大数据引擎从kafka中拉取设备信息并进行监控、过滤处理，通过地理围栏建立感兴趣区域模型，对该区域设备进行实时追踪，同时将数据存储到DataStore实时大数据存储中，进行实时聚合分析、可视化表达。 | 
雷达卡
发表于 2019-8-1 17:11
提升卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2019-8-2 15:57
