requests是python的一个http客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:
python的标准库urllib2提供了大部分需要的http功能,但是api太逆天了,一个简单的功能就需要一大堆代码。
我也看了下requests的文档,确实很简单,适合我这种懒人。下面就是一些简单指南。
插播个好消息!刚看到requests有了中文翻译版,建议英文不好的看看,内容也比我的博客好多了,具体链接是:http://cn.python-requests.org/en/latest/(不过是v1.1.0版,另抱歉,之前贴错链接了)。
1. 安装
安装很简单,我是win系统,就在这里下载了安装包(网页中download the zipball处链接),然后$ python setup.py install就装好了。
当然,有easy_install或pip的朋友可以直接使用:easy_install requests或者pip install requests来安装。
至于linux用户,这个页面还有其他安装方法。
测试:在idle中输入import requests,如果没提示错误,那说明已经安装成功了!
2. 小试牛刀
>>>import requests
>>> r = requests.get(‘http://www.zhidaow.com’) # 发送请求
>>> r.status_code # 返回码
200
>>> r.headers[‘content-type’] # 返回头部信息
‘text/html; charset=utf8’
>>> r.encoding # 编码信息
‘utf-8’
>>> r.text #内容部分(ps,由于编码问题,建议这里使用r.content)
u’\n>>r.status_code
200
前两个例子很正常,能正常打开的返回200,不能正常打开的返回404。但第三个就有点奇怪了,那个是百度搜索结果中的302跳转地址,但状态码显示是200,接下来我用了一招让他原形毕露:
>>>r.history
(,)
这里能看出他是使用了302跳转。也许有人认为这样可以通过判断和正则来获取跳转的状态码了,其实还有个更简单的方法:
>>>r = requests.get(‘http://www.baidu.com/link?url=qetrfos7tuuqrppa0wltjjr6ffiyi1djprjukx4qy0xnsdo_s9baoo8u1wvjxgqn’, allow_redirects = false)
>>>r.status_code
302
只要加上一个参数allow_redirects,禁止了跳转,就直接出现跳转的状态码了,好用吧?我也利用这个在最后一掌做了个简单的获取网页状态码的小应用,原理就是这个。
3.7 响应头内容
可以通过r.headers来获取响应头内容。
>>>r = requests.get(‘http://www.zhidaow.com’)
>>> r.headers
{
‘content-encoding’: ‘gzip’,
‘transfer-encoding’: ‘chunked’,
‘content-type’: ‘text/html; charset=utf-8’;
…
}
可以看到是以字典的形式返回了全部内容,我们也可以访问部分内容。
>>> r.headers[‘content-type’]
‘text/html; charset=utf-8’
>>> r.headers.get(‘content-type’)
‘text/html; charset=utf-8’
3.8 设置超时时间
我们可以通过timeout属性设置超时时间,一旦超过这个时间还没获得响应内容,就会提示错误。
>>> requests.get(‘http://github.com’, timeout=0.001)
traceback (most recent call last):
file “”, line 1, in
requests.exceptions.timeout: httpconnectionpool(host=’github.com’, port=80): request timed out. (timeout=0.001)
3.9 代理访问
采集时为避免被封ip,经常会使用代理。requests也有相应的proxies属性。
import requests
proxies = {
“http”: “http://10.10.1.10:3128”,
“https”: “http://10.10.1.10:1080”,
}
requests.get(“http://www.zhidaow.com”, proxies=proxies)
如果代理需要账户和密码,则需这样:
proxies = {
“http”: “http://user:pass@10.10.1.10:3128/”,
}
3.10 请求头内容
请求头内容可以用r.request.headers来获取。
>>> r.request.headers
{‘accept-encoding’: ‘identity, deflate, compress, gzip’,
‘accept’: ‘*/*’, ‘user-agent’: ‘python-requests/1.2.3 cpython/2.7.3 windows/xp’}
3.11 自定义请求头部
伪装请求头部是采集时经常用的,我们可以用这个方法来隐藏:
r = requests.get(‘http://www.zhidaow.com’)
print r.request.headers[‘user-agent’]
#python-requests/1.2.3 cpython/2.7.3 windows/xp
headers = {‘user-agent’: ‘alexkh’}
r = requests.get(‘http://www.zhidaow.com’, headers = headers)
print r.request.headers[‘user-agent’]
#alexkh
3.12 持久连接keep-alive
requests的keep-alive是基于urllib3,同一会话内的持久连接完全是自动的。同一会话内的所有请求都会自动使用恰当的连接。
也就是说,你无需任何设置,requests会自动实现keep-alive。
4. 简单应用
4.1 获取网页返回码
def get_status(url):
r = requests.get(url, allow_redirects = false)
return r.status_code
print get_status(‘http://www.zhidaow.com’)
#200
print get_status(‘http://www.zhidaow.com/hi404/’)
#404
print get_status(‘http://mengtiankong.com’)
#301
print get_status(‘http://www.baidu.com/link?url=qetrfos7tuuqrppa0wltjjr6ffiyi1djprjukx4qy0xnsdo_s9baoo8u1wvjxgqn’)
#302
print get_status(‘http://www.huiya56.com/com8.intre.asp?46981.html’)
#500
以上是针对python requests的安装与简单运用的介绍,希望对大家有所帮助!
脚本之家推荐阅读:
python requests 基础入门