免费视频|新人指南|投诉删帖|广告合作|地信网APP下载

查看: 3666|回复: 15
收起左侧

[技术交流] 历时半年,谷歌全球73.9TB卫星影像终于下载完成

[复制链接]

277

主题

2262

铜板

2

好友

教授级高工

Rank: 12Rank: 12Rank: 12

积分
1711
发表于 2020-3-12 10:33 | 显示全部楼层 |阅读模式
历时半年,谷歌全球73.9TB卫星影像终于下载完成水经注GIS 2020-02-27 11:47:23
1. 概述
真是应了那句话,千里之行始于足下,全球谷歌卫星地图数据下载项目从2019年7月至今,历时半年之久,现在终于全部下载完成了!现在我把一些经验和心得与大家进行分享。
2. 下载全球卫星影像数据的前因后果
由于有众多客户(主要是涉密单位)对全球数据有需求,都希望可以建立一个离线查看的本地谷歌地球,我们大概在三年前就启动了全球数据下载计划但却一直无果而终。原因有很多,任务分配太多导致数据混乱,中途被其它事情打断搁置等等。但最主要的原因,可能还是项目负责人的问题,虽然看起来很努力却一直没有把这个事做好。

全球数据



直到去年7月份,我才决定亲自着手此事,其实当时我也在犯嘀咕,该项目只是我众多工作中的一项,我是否有这个精力兼顾呢?全球数据这么大,要下载到何年何月呢?再加上以前下载的数据十分凌乱,在梳理过程中还发现很多数据存在错误,居然有根本没有下载完就入库的情况,一时间还真不知道该如何办才好。看着已经接近下载了一半的数据,该继续整理还是从头再来?这着实是一个难以取舍的问题。
后来干脆花了两天时间进行了专门的下载测试,发现下载速度其实比想像的快很多,再根据需要下载的文件数与数据量大小进行了充分的估算之后,觉得下载全球数据应该没有想像那么难,也应该花不到太长的时间。于是,最后下定决心从头开始!
以前下载全球数据时,是负责开发的同事用代码一次性生成好了所有任务,再分别分配到每一台电脑。由于该工作不需要全天候职守,且下载数据的电脑比较多,一旦记录没有作仔细,原本简单的事稍不留神就会让数据混乱。基于上述原因,我这次不采用同事生成好的任务,而是每一组任务都自己手动建立,且只用四台电脑下载。这样的工作方式看起来慢实则最快,这种笨办法可以让每台电脑下载数据的情况心中有数,正所谓欲速则不达!
最后,如文中开头所述,该项目历时半年,终于圆满完成!当然,这期间离不开另外两位小伙伴的密切配合,他们才是在这半年中付出最多的人。下面我将会对全球数据情况及参数作一些简单的说明。如果你也想下载谷歌全球卫星影像数据,请关注vx号"水经注GIS"并回复"全球数据"入群,我将会在群中毫无保留地与你分享!
3. 全球数据参数与概况
这里下载的全球数据,数据源为谷歌地球,坐标投影为WGS84经纬度投影,无偏移无水印。数据级别为1到19级,一共73.9TB大小,如下图所示。

全球卫星影像73.9TB



全球数据共分为6个文件夹,其中"World_L2_10"是存储的全于2到10级影像数据,其它五个文件夹为全于10-19级影像数据,一共分成了5部分,如下图所示。

数据共分6组



全球数据的每一个文件分块由一组DAT和IDX组成,通过搜索DAT文件可以检索出所有的影像数据分块文件。全球数据文件基于第10级瓦片为金字塔塔尖对10到19级进行分块,一共131072个块,再加上2到10级以内的两个分块,一共131074个分块文件,如下图所示。

共131074个文件分块



2到10级以内的数据分块文件名称分别为"2_1_1"和"2_2_1",10到19级文件分块从"10_1_1"开始,如下图所示。

共131074个文件分块



文件"2_1_1"和"2_2_1"对应2到10级影像分块,如下图所示。

第2到10级分块



文件"10_1_1"对应基于全球左上角的瓦片分块,如下图所示。

第10到19给分块左上角为起始位置



10到19级文件分块到"10_512_256"结束,如下图所示。

按文件名称排序的结束位置



文件"10_512_256"对应基于全球左上角的瓦片分块,如下图所示。

第10到19给分块右下角结束位置



将所有文件按下载完成时间进行排序,最早完成时间为2019年7月14日12点23分,如下图所示。

按下载完成时间排序的起始位置



最晚完成下载的时间为2020年2月20日22点41分,如下图所示。

按下载完成时间排序的结束位置



将所有文件按大小进行排序,最小的影像只有1KB,这种数据非常小的文件主要分布在南北级基本无影像数据的区域。

按文件大小排序的起始位置



最大的数据达8G之多,如下图所示。

按文件大小排序的结束位置



其中,文件"10_108_84"是全球数据中最大的分块,一共8.33GB,如下图所示。

最大的文件8.33GB



4. 新手如何下载全球数据?
从上述说明已经可以看出,下载全球数据是通过分块进行下载的,但新建任务时我的方法是基于第10级,一次下载4列,每列256个任务块,也就是一次新建1024个任务分块。具体下载的方法,可以通过关注vx公众号"水经注GIS"并回复"全球数据"入群,我将会在群中毫无保留地与你分享!关于全球离线影像数据如何使用,如何在局域网内发布,又该如何调用等一系列问题,我们都会全部为你答疑解惑,如果有必要,我们也可以通过在线直播的方式为大家进行详细演示!
5. 总结
最后,如果你有需要,我们也可以为你提供全球离线二三维GIS系统的解决方案。接下来,我们将用同样的方法,计划下载全国以及全球1-21级数据,这是一个更有挑战性的工程,也希望有朝一日能顺利完成!


1

主题

514

铜板

1

好友

助理工程师

Rank: 5Rank: 5

积分
145
发表于 2020-3-12 11:13 | 显示全部楼层
:bq:bq拿走!先看看,学习下
回复 支持 反对

使用道具 举报

0

主题

1440

铜板

5

好友

技术员

Rank: 3Rank: 3

积分
80
发表于 2020-3-12 11:33 | 显示全部楼层
太厉害了!!!!!!!!!!!!!!!!!!
回复

使用道具 举报

689

主题

54万

铜板

90

好友

传奇会员

火影忍者

Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

积分
290546

灌水勋章荣誉会员勋章活跃勋章宣传勋章贡献勋章

发表于 2020-3-12 15:13 | 显示全部楼层
  硬盘真大
历经100天的非洲之旅完成了,回国了..
回复 支持 反对

使用道具 举报

0

主题

2888

铜板

2

好友

高级工程师

Rank: 9Rank: 9Rank: 9

积分
639
发表于 2020-3-12 16:39 | 显示全部楼层
看起来好NB的样子^_^
回复 支持 反对

使用道具 举报

1

主题

8838

铜板

4

好友

高级工程师

不经历风雨怎能见彩虹

Rank: 9Rank: 9Rank: 9

积分
924
发表于 2020-3-12 20:41 | 显示全部楼层
膜拜大神!!!
不经历风雨怎能见彩虹
回复

使用道具 举报

0

主题

1万

铜板

2

好友

银牌会员

Rank: 12Rank: 12Rank: 12

积分
840
发表于 2020-3-13 09:19 | 显示全部楼层
牛!太厉害了。
回复 支持 反对

使用道具 举报

0

主题

604

铜板

2

好友

技术员

Rank: 3Rank: 3

积分
29
发表于 2020-3-13 17:14 | 显示全部楼层
太厉害了,我只敢想想,作者居然实现了,佩服
回复 支持 反对

使用道具 举报

头像被屏蔽

0

主题

1306

铜板

1

好友

禁止发言

积分
792
发表于 2020-3-25 13:00 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

0

主题

263

铜板

1

好友

技术员

Rank: 3Rank: 3

积分
13
发表于 2020-3-25 14:11 | 显示全部楼层
可以共享不哦 这个好东西
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在线客服
快速回复 返回顶部 返回列表