本帖最后由 daitianci 于 2014-9-2 22:10 编辑
首先,跟大家推荐一个不错的台风路径实时查询系统:http://typhoon.zjwater.gov.cn/。 前段时间前辈想把这个系统里的台风路径记录下来运用到arcmap里,发现如果一个个点人工去记录,很是繁琐。后来我自己也去看了这个网站,确实,如果一个个点去抠下来,很烦躁。最开始,前辈给的想法是写一个抓虫工具来实现,对抓虫工具有兴趣可以看看这个http://blog.csdn.net/gzh0222/article/details/12647723,细细研究了一下这个网站之后,我发现一般的python爬虫还没办法抓到数据,因为里面的路径是通过jquery请求回来的,查看源码的时候抓不到,当然也有可能是我道行太浅,有思路的也可以指导我一下,对这个python抓虫有些偏爱,想学学。后来我想了一些别的办法解决,就是去监视客户端的请求,获取从服务端请求回来的台风路径数据,然后解析它。在前辈的指导下,这个工具顺利完成了,不过这个还真算不上抓虫工具,最多只是一个比较低端的文本解析器而已,事情解决就好啦。 运行环境:.Net Framework 4.5(Newtonsoft.Json.dll特别用到的动态链接库,因为从服务端请求回来的数据都是json格式,涉及到序列化和反序列化,需要借助这个动态链接库来转化) 浏览器:谷歌浏览器(开发版) 使用方法:1、用谷歌浏览器打开台风路径实时查询系统,然后按F12开始监视,选择network teb页 2、然后选择一个台风,结果在请求列表里,选择以typhooninfo结尾的请求 3、选择文字部分,ctrl + c 然后 ctrl + v 复制到新建的文本文件里 4、利用工具导出csv文件,然后转成excel03的文件,直接可以在arcmap里运用了 稍稍扩展,我们有点位信息了,却总会为底图发愁。其实arcmap里有很多自带的地图,在新建文档的时候都会让你选,我想,这个是可以运用起来的。或者用arcbrutile去矢量化一个也不错,也可以从google earth 上去抠,这个在我之前写过的一篇文章中有介绍过,有兴趣可以去瞅瞅。 最近也是在研究pyhon,准备自己定制一些工具箱,这也是下一个阶段的任务,之后带来的应该就是这个好玩的。 技术没有秘密,分享才是王道,一起努力,共同进步。
|