《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为,得点到啥时候啊,迅雷应该有批量下载,只是我没找到,估计是我浏览器把迅雷禁掉了,干脆自己用python写一个实现下载好了,网上早了一下,发现很简单啊
代码如下:
#!/usr/bin/python#-*- coding: utf-8 -*-
from ftplib import ftp
def ftpconnect(): ftp_server = ‘ftp3.ncdc.noaa.gov’ username = ” password = ” ftp=ftp() ftp.set_debuglevel(2) #打开调试级别2,显示详细信息 ftp.connect(ftp_server,21) #连接 ftp.login(username,password) #登录,如果匿名登录则用空串代替即可 return ftpdef downloadfile(): ftp = ftpconnect() #print ftp.getwelcome() #显示ftp服务器欢迎信息 datapath = “/pub/data/noaa/” year=1911 while year