免费视频|新人指南|投诉删帖|广告合作|地信网APP下载

查看: 4011|回复: 18
收起左侧

[技术交流] 解密:谷歌全球73.9TB卫星影像是如何下载完成的

[复制链接]

277

主题

2270

铜板

2

好友

教授级高工

Rank: 12Rank: 12Rank: 12

积分
1712
发表于 2020-3-12 10:55 | 显示全部楼层 |阅读模式
解密:谷歌全球73.9TB卫星影像是如何下载完成的水经注GIS 2020-02-28 16:51:30

1. 概述
真是应了那句话,千里之行始于足下,全球谷歌卫星地图数据下载项目,历时半年多之久,现在终于全部下载完成了!现在我们把一些经验和心得与大家进行分享。
2. 下载全球卫星影像数据的前因后果
由于有众多客户对全球数据有需求,都希望可以建立一个离线查看的本地谷歌地球,我们大概在三年前就启动了全球数据下载计划但却一直无果而终。原因有很多,任务分配太多导致数据混乱,中途被其它事情打断搁置等等。但最主要的原因,可能还是没有下定足够的决心。


全球数据
直到去年,在一个项目需求的推动下,我们才又重新把此事提上日程,其实当时我们心里也在打鼓,全球数据这么大,要下载到何年何月呢?再加上以前下载的数据十分凌乱,在梳理过程中还发现很多数据存在错误,居然有没下载完就入库的情况,一时间还真不知道该如何办才好。看着已经接近下载了一半的数据,该继续整理还是从头再来?这着实是一个难以取舍的问题。
后来我们干脆花了两天时间进行了认真的下载测试分析,发现下载速度其实比想像的快很多,再根据需要下载的文件数与数据量大小进行了充分的估算之后,觉得下载全球数据应该没有想像那么难,也应该花不到太长的时间。于是,最后下定决心从头开始!
以前下载全球数据时,是负责开发的同事用代码一次性生成好了所有任务,再分别分配到每一台电脑。由于该工作不需要全天候职守,且下载数据的电脑比较多,一旦记录没有作仔细,原本简单的事稍不留神就会让数据混乱。基于上述原因,我这次不采用同事生成好的任务,而是每一组任务都通过手动建立,且只用四台电脑下载。这样的工作方式看起来慢实则最快,这种笨办法可以让每台电脑下载数据的情况心中有数,正所谓欲速则不达!
最后,如文中开头所述,该项目在三个小伙伴的共同努力下,历时半年,终于圆满完成!下面我们将会对全球数据情况及参数作一些简单的说明。如果你也想下载谷歌全球卫星影像数据,请关注我们"并回复"全球数据",我们将会在群中毫无保留地与你分享!
3. 全球数据参数与概况
这里下载的全球数据,数据源为谷歌地球,坐标投影为WGS84经纬度投影,无偏移无水印。数据级别为1到19级,一共73.9TB大小,如下图所示。


全球卫星影像73.9TB
全球数据共分为6个文件夹,其中"World_L2_10"是存储的全于2到10级影像数据,其它五个文件夹为全于10-19级影像数据,一共分成了5部分,如下图所示。


数据共分6组
全球数据的每一个文件分块由一组DAT和IDX组成,通过搜索DAT文件可以检索出所有的影像数据分块文件。全球数据文件基于第10级瓦片为金字塔塔尖对10到19级进行分块,一共131072个块,再加上2到10级以内的两个分块,一共131074个分块文件,如下图所示。


共131074个文件分块
2到10级以内的数据分块文件名称分别为"2_1_1"和"2_2_1",10到19级文件分块从"10_1_1"开始,如下图所示。


按文件名称排序的起始位置
文件"2_1_1"和"2_2_1"对应2到10级影像分块,如下图所示。


第2到10级分块
文件"10_1_1"对应基于全球左上角的瓦片分块,如下图所示。


第10到19给分块左上角为起始位置
10到19级文件分块到"10_512_256"结束,如下图所示。


按文件名称排序的结束位置
文件"10_512_256"对应基于全球左上角的瓦片分块,如下图所示。


第10到19给分块右下角结束位置
将所有文件按下载完成时间进行排序,最早完成时间为2019年7月14日12点23分,如下图所示。


按下载完成时间排序的起始位置
最晚完成下载的时间为2020年2月20日22点41分,如下图所示。


按下载完成时间排序的结束位置
将所有文件按大小进行排序,最小的影像只有1KB,这种数据非常小的文件主要分布在南北级基本无影像数据的区域。


按文件大小排序的起始位置
最大的数据达8G之多,如下图所示。


按文件大小排序的结束位置
其中,文件"10_108_84"是全球数据中最大的分块,一共8.33GB,如下图所示。


最大的文件8.33GB
4. 新手如何下载全球数据?
从上述说明已经可以看出,下载全球数据是通过分块进行下载的,但新建任务时我的方法是基于第10级,一次下载4列,每列256个任务块,也就是一次新建1024个任务分块。具体下载的方法,可以通过关注我们并回复"全球数据",我们将会在群中毫无保留地与你分享!另外,还可以通过观看在线直播回放的方式为你解密全球数据下载技术!
5. 总结
最后,如果你有需要,我们也可以为你提供全球离线二三维GIS系统的解决方案。接下来,我们将用同样的方法,计划下载全国以及全球1-21级数据,这是一个更有挑战性的工程,也希望有朝一日能顺利完成!


头像被屏蔽

0

主题

1306

铜板

1

好友

禁止发言

积分
792
发表于 2020-3-25 12:59 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 1 反对 0

使用道具 举报

1

主题

514

铜板

1

好友

助理工程师

Rank: 5Rank: 5

积分
145
发表于 2020-3-12 11:22 | 显示全部楼层
感谢分享,楼主辛苦!
回复 支持 反对

使用道具 举报

4

主题

20万

铜板

39

好友

VIP会员

Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23

积分
188602

精华勋章宣传勋章地信元老灌水勋章活跃勋章贡献勋章冰雪节勋章10周年纪念勋章童话节勋章

发表于 2020-3-12 16:04 | 显示全部楼层
感谢分享,楼主辛苦!
回复 支持 反对

使用道具 举报

0

主题

4万

铜板

0

好友

地信院士

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

积分
2840
发表于 2020-3-12 16:44 | 显示全部楼层
只要功夫深铁杵磨成针
锄禾日当午,签到好辛苦!...
回复 支持 反对

使用道具 举报

0

主题

4516

铜板

1

好友

工程师

Rank: 7Rank: 7Rank: 7

积分
412
发表于 2020-3-13 06:03 | 显示全部楼层
只要功夫深铁杵磨成针
回复 支持 反对

使用道具 举报

0

主题

1万

铜板

26

好友

教授级高工

Rank: 12Rank: 12Rank: 12

积分
1574
发表于 2020-3-13 10:53 | 显示全部楼层
厉害厉害!
回复

使用道具 举报

9

主题

2万

铜板

114

好友

地信院士

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

积分
2027
发表于 2020-3-22 12:19 | 显示全部楼层
这么大的数据,普通电脑有那么大的硬盘吗
回复 支持 反对

使用道具 举报

地信网友  发表于 2020-3-30 10:27
等于说把谷歌地球给镜像了。。。

55

主题

1万

铜板

35

好友

地信院士

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

积分
2472
发表于 2020-4-3 15:33 | 显示全部楼层
:zt:zt:ai:ai
如果你的心是乱的,你看这个世上,也就是乱的
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在线客服
快速回复 返回顶部 返回列表