网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

爬虫分享风云2号卫星气象照片-创新互联

爬虫概述

早在2016年,我用我的 阿里云ECS上运行了一个长期性质的爬虫程序,内容是采集风云二号气象卫星照片,现在假期终于有时间回来查看结果,简单统计如下(附图):

成都创新互联公司成立于2013年,是专业互联网技术服务公司,拥有项目成都网站设计、网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元汉南做网站,已为上家服务,为汉南各地企业和个人服务,联系电话:13518219792

图片总数:45869 个文件

最早文件:201609131345.jpg

最晚文件:201910091415.jpg

爬虫分享风云2号卫星气象照片

爬虫运行过程

1,数据源:

当时意外获得一个长期有效的数据来源,其URL参数,为时间格式,也就是说有着明显的规律。适合爬虫运行

2,爬虫运行:

这个爬虫的运行条件其实有2个:1定时下载;2不停机运行;

既然是气象数据,当然得定时抓取,所以我写了一个windows服务,置于后台连续运行。虽然中间由于服务器其他问题导致中断过几次,不过架不住时间长久,因此还是成功连续采集了很多数据。

还有个要求就是不能关机,程序需要连续运行。我的最终方案就是使用 云服务器ECS部署运行。避免使用个人PC长期开机来运行。

3,处理存储:

首先,这个程序既然要长期运行,那么非常避讳的一点就是所有结果都集中在一个本地文件夹里,因此我选用了阿里云对象存储OSS,同时由于我需要不关机,所以我最终是 云服务器ECS+ 对象存储OSS,ECS和OSS使用了同地域的,因此内网打通传输很快。这样我就只在本地做一个临时存储,转存OSS后不再占用本地硬盘,这样一来我才可以放心启动后“免维护”运行这好几年。

4,爬虫关停

爬虫的关停并非我本意,是我假期期间查看日志才知道数据源已经失效了。因此本爬虫寿终正寝。虽然我可以去寻找一下新的有效数据源,但是由于老数据我都没用好,那么新的数据就暂时先不去寻找了。

爬虫工作完成,最终成果下载

我选用了阿里云推荐的OSS客户端工具,由于我提前规划好了ECS和OSS同地域,因此可以直接内网下载到我的ECS,速度还是很快的,工具显示大于60MB/s。工具部分截图如图:

爬虫分享风云2号卫星气象照片

为了避免OSS公网下载流量的费用支出(其实是穷:直接下载6G大小文件,忙时价格为1块5毛钱),我将OSS数据内网下载后,走ECS的出带宽下载回我PC本地。本地查看:

爬虫分享风云2号卫星气象照片


原文地址:  https://www.opengps.cn/Blog/View.aspx?id=590 文章的更新编辑依此链接为准。欢迎关注源站原创文章!


新闻名称:爬虫分享风云2号卫星气象照片-创新互联
本文路径:http://bjjierui.cn/article/hchoe.html

其他资讯