背景：
pyspider：一个国人编写的强大的网络爬虫系统并带有强大的webui。采用python语言编写，分布式架构，支持多种数据库后端，强大的webui支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示例： http://demo.pyspider.org/
官方文档： http://docs.pyspider.org/en/l…
github : https://github.com/binux/pysp…
本文爬虫代码 github 地址：https://github.com/zhisheng17…
更多精彩文章可以在微信公众号：猿blog 阅读到，欢迎关注。
说了这么多，我们还是来看正文吧!
前提:
你已经安装好了pyspider 和 mysql-python(保存数据)
如果你还没安装的话，请看看我的前一篇文章，防止你也走弯路。
pyspider 框架学习时走过的一些坑
http 599: ssl certificate problem: unable to get local issuer certificate错误
我所遇到的一些错误：
替换 on_start 函数的 self.crawl 的 url：
@every(minutes=24 * 60)
def on_start(self):
self.crawl(‘https://www.v2ex.com/’, callback=self.index_page, validate_cert=false)
self.crawl 告诉 pyspider 抓取指定页面，然后使用 callback 函数对结果进行解析。
@every) 修饰器，表示 on_start 每天会执行一次，这样就能抓到最新的帖子了。
validate_cert=false 一定要这样，否则会报 http 599: ssl certificate problem: unable to get local issuer certificate错误
首页：
点击绿色的 run 执行，你会看到 follows 上面有一个红色的 1，切换到 follows 面板，点击绿色的播放按钮：
在 tab 列表页 中，我们需要提取出所有的主题列表页 的 url。你可能已经发现了，sample handler 已经提取了非常多大的 url
代码：
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/?tab=”]’).items():
self.crawl(each.attr.href, callback=self.tab_page, validate_cert=false)
由于帖子列表页和 tab列表页长的并不一样，在这里新建了一个 callback 为 self.tab_page
@config(age=10 24 60 * 60) 在这表示我们认为 10 天内页面有效，不会再次进行更新抓取
go列表页 :
代码：
@config(age=10 * 24 * 60 * 60)
def tab_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/go/”]’).items():
self.crawl(each.attr.href, callback=self.board_page, validate_cert=false)
帖子详情页(t):
你可以看到结果里面出现了一些reply的东西，对于这些我们是可以不需要的，我们可以去掉。
同时我们还需要让他自己实现自动翻页功能。
代码：
@config(age=10 * 24 * 60 * 60)
def board_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/t/”]’).items():
url = each.attr.href
if url.find(‘#reply’)>0:
url = url[0:url.find(‘#’)]
self.crawl(url, callback=self.detail_page, validate_cert=false)
for each in response.doc(‘a.page_normal’).items():
self.crawl(each.attr.href, callback=self.board_page, validate_cert=false)
#实现自动翻页功能
去掉后的运行截图：
代码：
@config(priority=2)
def detail_page(self, response):
title = response.doc(‘h1’).text()
content = response.doc(‘p.topic_content’).html().replace(‘”‘, ‘\\”‘)
self.add_question(title, content) #插入数据库
return {
“url”: response.url,
“title”: title,
“content”: content,
}
插入数据库的话，需要我们在之前定义一个add_question函数。
#连接数据库
def __init__(self):
self.db = mysqldb.connect(‘localhost’, ‘root’, ‘root’, ‘wenda’, charset=’utf8′)
def add_question(self, title, content):
try:
cursor = self.db.cursor()
sql = ‘insert into question(title, content, user_id, created_date, comment_count)
values (“%s”,”%s”,%d, %s, 0)’ %
(title, content, random.randint(1, 10) , ‘now()’);
#插入数据库的sql语句
print sql
cursor.execute(sql)
print cursor.lastrowid
self.db.commit()
except exception, e:
print e
self.db.rollback()
查看爬虫运行结果：
然后再本地数据库gui软件上查询下就可以看到数据已经保存到本地了。
自己需要用的话就可以导入出来了。
在开头我就告诉大家爬虫的代码了，如果详细的看看那个project，你就会找到我上传的爬取数据了。(仅供学习使用，切勿商用!)
当然你还会看到其他的爬虫代码的了，如果你觉得不错可以给个 star，或者你也感兴趣的话，你可以fork我的项目，和我一起学习，这个项目长期更新下去。
最后：
代码：
# created by 10412
# !/usr/bin/env python
# -*- encoding: utf-8 -*-
# created on 2016-10-20 20:43:00
# project: v2ex
from pyspider.libs.base_handler import *
import re
import random
import mysqldb
class handler(basehandler):
crawl_config = {
}
def __init__(self):
self.db = mysqldb.connect(‘localhost’, ‘root’, ‘root’, ‘wenda’, charset=’utf8′)
def add_question(self, title, content):
try:
cursor = self.db.cursor()
sql = ‘insert into question(title, content, user_id, created_date, comment_count)
values (“%s”,”%s”,%d, %s, 0)’ % (title, content, random.randint(1, 10) , ‘now()’);
print sql
cursor.execute(sql)
print cursor.lastrowid
self.db.commit()
except exception, e:
print e
self.db.rollback()
@every(minutes=24 * 60)
def on_start(self):
self.crawl(‘https://www.v2ex.com/’, callback=self.index_page, validate_cert=false)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/?tab=”]’).items():
self.crawl(each.attr.href, callback=self.tab_page, validate_cert=false)
@config(age=10 * 24 * 60 * 60)
def tab_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/go/”]’).items():
self.crawl(each.attr.href, callback=self.board_page, validate_cert=false)
@config(age=10 * 24 * 60 * 60)
def board_page(self, response):
for each in response.doc(‘a[href^=”https://www.v2ex.com/t/”]’).items():
url = each.attr.href
if url.find(‘#reply’)>0:
url = url[0:url.find(‘#’)]
self.crawl(url, callback=self.detail_page, validate_cert=false)
for each in response.doc(‘a.page_normal’).items():
self.crawl(each.attr.href, callback=self.board_page, validate_cert=false)
@config(priority=2)
def detail_page(self, response):
title = response.doc(‘h1’).text()
content = response.doc(‘p.topic_content’).html().replace(‘”‘, ‘\\”‘)
self.add_question(title, content) #插入数据库
return {
“url”: response.url,
“title”: title,
“content”: content,
}
以上就是python爬虫实战之爬取 v2ex 网站帖子的内容，更多相关内容请关注php中文网（www.php1.cn）！