python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。
今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。
最基础的抓取：
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @author pythontab
import urllib.request
url = “http://www.pythontab.com”
html = urllib.request.urlopen(url).read(）
print(html)
但是…有些网站不能抓取，进行了防采集设置，所以我们要变换一下方法
python2中（最新稳定版本python2.7）
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @author pythontab.com
import urllib2
url=”http://pythontab.com”
req_header = {‘user-agent’:’mozilla/5.0 (windows nt 6.1) applewebkit/537.11 (khtml, like gecko) chrome/23.0.1271.64 safari/537.11′,
‘accept’:’text/html;q=0.9,*/*;q=0.8′,
‘accept-charset’:’iso-8859-1,utf-8;q=0.7,*;q=0.3′,
‘accept-encoding’:’gzip’,
‘connection’:’close’,
‘referer’:none #注意如果依然不能抓取的话，这里可以设置抓取网站的host
}
req_timeout = 5
req = urllib2.request(url,none,req_header)
resp = urllib2.urlopen(req,none,req_timeout)
html = resp.read()
print(html)
python3中（最新稳定版本python3.3）
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @author pythontab
import urllib.request
url = “http://www.pythontab.com”
headers = {‘user-agent’:’mozilla/5.0 (windows nt 6.1) applewebkit/537.11 (khtml, like gecko) chrome/23.0.1271.64 safari/537.11′,
‘accept’:’text/html;q=0.9,*/*;q=0.8′,
‘accept-charset’:’iso-8859-1,utf-8;q=0.7,*;q=0.3′,
‘accept-encoding’:’gzip’,
‘connection’:’close’,
‘referer’:none #注意如果依然不能抓取，这里可以设置抓取网站的host
}
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)