我打算将webqq单独出来运行, 一开始直接拷贝了pyxmpp2的mainloop, 但是跑起来问题多多, 所以我又研究了利用tornado进行网络编程(这里), 所以我放弃了pyxmpp2的mainloop,使用tornado进行重写
首先放出项目代码
引子
webqq协议是一套基于http的qq协议, 而用python的urllib2库进行请求太慢, 因为http本身就使用socket请求, 所以改用多路复用i/o模型, 而tornado简单高效, 看过代码后可以轻松上手.平台兼容性很好, 所以选择tornado作为网络框架.
原理
首先实现了一个 httpstream类, 其主要接口是add_request方法, 它接受一个必选参数:request 是一个 urllib2.request的实例, 和一个可选参数:readback是一个接受一个urllib2.urlopen(request)返回的response参数的读取函数, 代码如下:
class httpstream(object):
# 省略若干代码
def add_request(self, request, readback = none):
if not isinstance(request, urllib2.request):
raise valueerror, “not a invaid requset”
# 此处易触发timeout异常, 省略处理异常代码
sock, data = self.http_sock.make_http_sock_data(request)
fd = sock.fileno()
self.fd_map[fd] = sock
self.fd_request_map[fd] = request
callback = partial(self._handle_events, request, data, readback)
self.ioloop.add_handler(fd, callback, ioloop.write)
httpstream.add_request将urllib2.request的实例解析出一个socket和一个用于socket发送的数据.前面文章介绍过了, tornado.ioloop.ioloop.add_handler用于将注册socket, 其需要三个参数: socket的文件描述符, 接受文件描述符和事件参数的回调, 和注册的事件.
我们用到的回调是httpstream._handle_events:
class httpstream(object):
# 省略若干代码
def _handle_events(self, request, data, readback, fd, event):
“”” 用于处理tornado事件
arguments:
`request` – urllib.request
`data` – socket要写入的数据
`readback` – 读取函数
以上参数应当使用partial封装然后将此方法作为ioloop.add_handler的callback
`fd` – ioloop传递 文件描述符
`event` – ioloop传递 tornado
“””
s = self.fd_map[fd]
if event & ioloop.read:
# 省略错误处理
resp = self.http_sock.make_response(s, request)
args = readback(resp)
s.setblocking(false)
if args and len(args) == 3:
t = threading.thread(target = self.add_delay_request, args = args)
t.setdaemon(true)
t.start()
if args and len(args) == 2:
self.add_request(*args)
self.ioloop.remove_handler(fd)
if event & ioloop.write:
s.sendall(data)
if readback:
self.ioloop.update_handler(fd, ioloop.read)
else:
self.ioloop.remove_handler(fd)
if event & ioloop.error:
pass
它接受的参数上面注释写的很清楚, 不做解释, 所以将此方法通过functools.partial封装做为callback传递给tornado.ioloop.ioloop.add_handler, 并注册为写事件, 以便发送http请求.
httpstream._handle_events用于处理事件, 当事件为写时就发送http请求(根据urllib2.request生成的用于发送的数据), 并判断是否有读取函数, 有则注册读事件, 当事件为读时就从socket中构建一个response并传递给读取函数, 读取函数会返回3个值, 分别为: 下一个请求, 请求的读取函数(可为none, 为none则只请求不读取), 下一个请求的延迟(多长事件后添加此请求, 可选, 单位为秒)
依据读取函数返回的三个值来确定下一个请求, 并完成一系列的请求. 更加完整的代码请参见文章开头给出的项目代码
httpstream.http_sock.make_response执行时会将socket设为阻塞, 因为不设置阻塞会出现httplib.badstatusline异常.读取函数执行完毕,重新将socket设置为非阻塞, 并移除此socket(虽然做了这样的处理但是qq连接时间稍长还是会触发httplib.badstatusline异常)