python实现新浪博客备份的方法

本文实例讲述了python实现新浪博客备份的方法。分享给大家供大家参考,具体如下:

python2.7.2版本实现,推荐在ide中运行。

# -*- coding:utf-8 -*- #
”’
created on 2011-12-18
@author: ahan
”’
import re
import sys
import os
import time
import socket
import locale
import datetime
import codecs
from urllib import urlopen
#正则表达式定义
#匹配博文目录链接
pattern1=u”””博文目录”””
prog1 = re.compile(pattern1)
#匹配博文标题链接
pattern2=u”””.*?”””
prog2=re.compile(pattern2)
#匹配下一页链接
pattern3=u”””下一页”””
prog3=re.compile(pattern3)
#匹配正文部分
pattern4=u”””[\\s\\s]*?”””
prog4=re.compile(pattern4)
#匹配正文图片链接
pattern5=u”””(src=”[^”]+”( real_src =”([^”]+)”))”””
prog5=re.compile(pattern5)
def read_date_from_url(url):
“””以unicode形式返回从url上读取的所有数据
“””
try:
data = “”
request = urlopen(url)
while true:
s = request.read(1024)
if not s:
break
data += s
return unicode(data)
except:
print ‘读取数据时出错’
print “unexpected error:”, sys.exc_info()[0],sys.exc_info()[1]
return none
finally:
if request:
request.close()
def save_to_file(url,filename,blog_address):
“””url为博文地址,filename为要保存的文件名,默认后缀为html
“””
#如果文件夹不存在则创建文件夹
if os.path.exists(blog_address)==false:
os.makedirs(blog_address)
#去掉文件名中的非法字符
filename=replacebadcharoffilename(filename)
file_no=0
while os.path.isfile(blog_address+’/’+filename+’.html’)==true:
filename=filename+'(‘+file_no.__str__()+’)’
file_no+=1
text = read_date_from_url(url)
text=_filter(text)
#将图片保存到本地
result=prog5.findall(text)
i=1
for pic in result:
folder=blog_address+’/’+filename+’/’
pic_name=’image’+i.__str__()+’.gif’
if os.path.exists(folder)==false:
os.makedirs(folder)
try:
url_file = urlopen(pic[2])
pic_file = codecs.open(folder+pic_name,’wb’)
while true:
s = url_file.read(1024)
if not s:
break
pic_file.write(s)
pic_file.close()
url_file.close()
except:
print ‘噢,保存图片的时候出现问题了,跳过此张图片…’
print “unexpected error:”, sys.exc_info()[0],sys.exc_info()[1]
else:
print ‘保存图片成功…’
#替换正文中的图片地址
text=text.replace(pic[0],unicode(“src=\”” + filename + “/” + pic_name + “\”” + pic[1]),1)
i=i+1
blog_file = codecs.open(blog_address+’/’+filename+’.html’,’wb’)
blog_file.write(text)
blog_file.close()
#提取文本中的正文部分
def _filter(t):
“””提取文本中的正文部分,返回unicode形式的字符串
“””
result=prog4.search(t)
if result is not none:
return u” + unicode(result.group()) + u”
else:
raise exception(‘噢,提取正文出错了……’)
#去掉文件名的不合法字符
def replacebadcharoffilename(filename):
filename=filename.replace(” “,””)
filename=filename.replace(“\\”, “”)
filename=filename.replace(“/”, “”)
filename=filename.replace(“:”, “”)
filename=filename.replace(“*”, “”)
filename=filename.replace(“?”, “”)
filename=filename.replace(“”, “”)
filename=filename.replace(“|”, “”)
filename=filename.replace(“&”,””)
filename=filename.replace(“;”,””)
return filename
#主函数
if __name__ == ‘__main__’:
#准备阶段
blog_no=1#博文编号
begin=1#起始博文
end=0#结束博文
page=0#页码
saved=0#成功保存的篇数
timeout = 60*5#超时设为5分钟
socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket,不必再设置
blog_address=raw_input(“请输入您的博客地址(输入最后部分即可,比如您的博客地址是http://blog.sina.com.cn/jiangafu,只要输入jiangafu):”)
blog_address=blog_address.replace(‘\r’,”)
begin=raw_input(‘从第几篇开始:’)
begin=locale.atoi(begin)
while begin

Posted in 未分类

发表评论