免费视频|新人指南|投诉删帖|广告合作|地信网APP下载

查看: 16058|回复: 20
收起左侧

[技术交流] 中国气象资料日值数据集数据提取

[复制链接]

13

主题

8790

铜板

16

好友

教授级高工

Rank: 12Rank: 12Rank: 12

积分
1358
QQ
发表于 2019-9-16 09:46 | 显示全部楼层 |阅读模式
本帖最后由 斩之浪 于 2019-9-16 09:48 编辑

中国地面气候资料日值数据集(V3.0)是遥感、GIS、水文、气候变化等研究领域中的常用数据源。该数据集包含了中国699个基准、基本气象站自1951年1月以来的气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素的逐日数据。

该数据集是以TXT文本格式存储,每个文件中存储了逐月的所有气象站的逐日数据,数据的存储结构简单,但使用起来还需要进一步提取和处理,例如,若提取某一地区某一时间段的降水数据,则需要从该时间段内的每个文件中找出该地区包括的气象站,然后提取数据,格式化存储。这便是本贴的写作目的,利用Python程序进行数据的快速提取。

数据集说明

数据集中文名称:中国地面气候资料日值数据集(V3.0)

数据集代码:SURF_CLI_CHN_MUL_DAY

数据集版本:V3.0

数据集建立时间:20120804

数据TXT文件名称说明:

    数据文件命名由数据集代码(SURF_CLI_CHN_MUL_DAY)、要素代码(XXX)、项目代码(XXXXX)、年份标识(YYYY)和月份标识(MM)组成。其中,SURF表示地面气象资料,CLI表示地面气候资料,CHN表示中国,MUL表示多要素,DAY表示日值数据。

文件命名:

编号
变量
命名
1气压SURF_CLI_CHN_MUL_DAY-PRS-10004-YYYYMM.TXT
2气温SURF_CLI_CHN_MUL_DAY-TEM-12001-YYYYMM.TXT
3相对湿度SURF_CLI_CHN_MUL_DAY-RHU-13003-YYYYMM.TXT
4降水SURF_CLI_CHN_MUL_DAY-PRE-13011-YYYYMM.TXT
5蒸发SURF_CLI_CHN_MUL_DAY-EVP-13240-YYYYMM.TXT
6风向风速SURF_CLI_CHN_MUL_DAY-WIN-11002-YYYYMM.TXT
7日照SURF_CLI_CHN_MUL_DAY-SSD-14032-YYYYMM.TXT
80cm地温SURF_CLI_CHN_MUL_DAY-GST-12030-0cm-YYYYMM.TXT

特征值说明:


台站海拔高度+100000,当台站海拔高度为估测值时,在估测数据基础上加100000
各要素项32766,数据缺测或无观测任务
气压日极值+20000,气压极值取自定时值,在原值上加20000
日最小相对湿度+300,最小相对湿度取自定时值,在原值上加300
风速+1000,当风速超过仪器测量上限时,在上限数据基础上加1000
风向1-17,用数字表示风向方位,17表示静风
+100,当表示风向为八风向时,在原值上加100
90X,风向出现X个时,风向数据用个数X表示
95X,风向至少出现X个时,风向数据用个数X表示
降水量32700,表示降水"微量"
32XXX,XXX为纯雾露霜
31XXX,XXX为雨和雪的总量
30XXX,XXX为雪量(仅包括雨夹雪,雪暴)
蒸发量32700,表示蒸发器结冰
+1000,蒸发器中注入的水全部蒸发,在注入的水量数据基础上加1000
0cm地温+10000,实际温度(零上)超仪器上限刻度,在上限数据基础上加10000
-10000,实际温度(零下)超仪器下限刻度,在下限数据基础上减10000

数据提取

了解了数据集的存储格式,就可以根据自己的需求提取相应的数据。方便使用和处理的气象数据存储格式通常以数据类型为字段(列)、以日期或时间为记录(行)。

示例:

DATE
TEM
PRE
RHU
PRS
2018/01/01xxxxxxxx
2018/01/02xxxxxxxx
2018/01/03xxxxxxxx


数据提取Python代码详见:http://gaohr.win/site/blogs/2019/2019-08-20-china-daily-ground-climate-data-extraction.html

  1. if __name__ == "__main__":
  2.     dataDir = <data direction>
  3.     dataDir_out = <output direction>
  4.     dataDir_stations = rootDir + os.sep + r"NE_China\data\stations"

  5.     sidArr = ["53463", "53478", "53480", "53487"]
  6.     fields = ["TEM", "TMN", "TMX", "PRE", "RHU", "WIN", "PRS", "SSD"]

  7.     START = "2000-01-01"
  8.     END = "2018-12-31"
  9.     period = [START.split('-')[0] + START.split('-')[1], END.split('-')[0] + END.split('-')[1]]
  10.     period_days = GetDateArr_strdays(START, END)
  11.     days = []

  12.     # ## 逐站点提取数据
  13.     for sid in sidArr:
  14.         print(sid)

  15.         # 计算起始搜索行数,提高提取速度
  16.         sr = sidArr.index(sid) * 28

  17.         c = ClimateData(dataDir, dataDir_out, int(sid), fields, period, days)
  18.         c.ExtractData(sr=sr)
  19.         c.SaveData(period_days, avg=False, d=False)
复制代码

数据提取Python代码详见:http://gaohr.win/site/blogs/2019/2019-08-20-china-daily-ground-climate-data-extraction.html


Fighting, GISer!



突然发觉,还有很多事等我去做。

22

主题

5万

铜板

62

好友

钻石会员

一个人幸运的前提,其实是他有能

Rank: 26Rank: 26Rank: 26Rank: 26Rank: 26Rank: 26Rank: 26

积分
6179

宣传勋章爱心勋章组织勋章地信元老灌水勋章荣誉会员勋章活跃勋章地信专家组贡献勋章成就学员勋章

发表于 2019-9-19 12:44 手机频道 | 显示全部楼层
能编辑成工具吗?
回复 支持 反对

使用道具 举报

13

主题

8790

铜板

16

好友

教授级高工

Rank: 12Rank: 12Rank: 12

积分
1358
QQ
 楼主| 发表于 2019-9-19 13:39 | 显示全部楼层
gis-wjh 发表于 2019-9-19 12:44
能编辑成工具吗?

可以封装成工具,但是挺麻烦,用python脚本运行不是更灵活嘛
突然发觉,还有很多事等我去做。
回复 支持 反对

使用道具 举报

6

主题

1万

铜板

15

好友

传奇会员

Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

积分
20795
发表于 2019-9-20 08:20 | 显示全部楼层
谢谢分享谢谢分享
回复 支持 反对

使用道具 举报

0

主题

4767

铜板

1

好友

高级工程师

Rank: 9Rank: 9Rank: 9

积分
1008
QQ
发表于 2019-10-9 16:36 | 显示全部楼层
收藏学习!
回复

使用道具 举报

0

主题

4767

铜板

1

好友

高级工程师

Rank: 9Rank: 9Rank: 9

积分
1008
QQ
发表于 2019-10-9 16:36 | 显示全部楼层
收藏学习!
回复

使用道具 举报

0

主题

4767

铜板

1

好友

高级工程师

Rank: 9Rank: 9Rank: 9

积分
1008
QQ
发表于 2019-10-9 16:36 | 显示全部楼层
收藏学习!
回复

使用道具 举报

0

主题

2232

铜板

2

好友

VIP会员

Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23

积分
133
发表于 2019-10-22 11:13 | 显示全部楼层
中国地面气候资料日值数据集(V3.0),这个数据可以分享下吗?
回复 支持 反对

使用道具 举报

0

主题

2232

铜板

2

好友

VIP会员

Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23Rank: 23

积分
133
发表于 2019-10-22 11:13 | 显示全部楼层
中国地面气候资料日值数据集(V3.0),这个数据可分享下吗?
回复 支持 反对

使用道具 举报

0

主题

2883

铜板

4

好友

高级工程师

Rank: 9Rank: 9Rank: 9

积分
609
发表于 2020-1-20 15:02 | 显示全部楼层
hadongxi,zanyige
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在线客服
快速回复 返回顶部 返回列表