werkzeug 作为一个 wsgi 工具库,由于一些方面的考虑,并没有直接使用python内置的threadlocal类,而是自己实现了一系列local类。包括简单的local,以及在此基础上实现的localstack,localmanager 和 localproxy。接下来我们一起来看看这些类的使用方式,设计的初衷,以及具体的实现技巧。
local 类的设计
werkzeug 的设计者认为python自带的threadlocal并不能满足需求,主要因为下面两个原因:
werkzeug 主要用“threadlocal”来满足并发的要求,python 自带的threadlocal只能实现基于线程的并发。而python中还有其他许多并发方式,比如常见的协程(greenlet),因此需要实现一种能够支持协程的local对象。
wsgi不保证每次都会产生一个新的线程来处理请求,也就是说线程是可以复用的(可以维护一个线程池来处理请求)。这样如果werkzeug 使用python自带的threadlocal,一个“不干净(存有之前处理过的请求的相关数据)”的线程会被用来处理新的请求。
为了解决这两个问题,werkzeug 中实现了local类。local对象可以做到线程和协程之间数据的隔离,此外,还要支持清理某个线程或者协程下的数据(这样就可以在处理一个请求之后,清理相应的数据,然后等待下一个请求的到来)。
具体怎么实现的呢,思想其实特别简单,我们在深入理解python中的threadlocal变量(上)一文的最后有提起过,就是创建一个全局字典,然后将线程(或者协程)标识符作为key,相应线程(或协程)的局部数据作为 value。这里 werkzeug 就是按照上面思路进行实现,不过利用了python的一些黑魔法,最后提供给用户一个清晰、简单的接口。
具体实现
local 类的实现在 werkzeug.local 中,以 8a84b62 版本的代码进行分析。通过前两篇对threadlocal的了解,我们已经知道了local对象的特点和使用方法。所以这里不再给出local对象的使用例子,我们直接看代码。
class local(object):
__slots__ = (‘__storage__’, ‘__ident_func__’)
def __init__(self):
object.__setattr__(self, ‘__storage__’, {})
object.__setattr__(self, ‘__ident_func__’, get_ident)
…
由于可能有大量的local对象,为了节省local对象占用的空间,这里使用 __slots__ 写死了local可以拥有的属性:
__storage__: 值为一个字典,用来保存实际的数据,初始化为空;
__ident_func__:值为一个函数,用来找到当前线程或者协程的标志符。
由于local对象实际的数据保存在__storage__中,所以对local属性的操作其实是对__storage__的操作。对于获取属性而言,这里用魔术方法__getattr__拦截__storage__ 和 __ident_func__以外的属性获取,将其导向__storage__存储的当前线程或协程的数据。而对于属性值的set或者del,则分别用__setattr__和__setattr__来实现(这些魔术方法的介绍见属性控制)。关键代码如下所示:
def __getattr__(self, name):
try:
return self.__storage__[self.__ident_func__()][name]
except keyerror:
raise attributeerror(name)
def __setattr__(self, name, value):
ident = self.__ident_func__()
storage = self.__storage__
try:
storage[ident][name] = value
except keyerror:
storage[ident] = {name: value}
def __delattr__(self, name):
try:
del self.__storage__[self.__ident_func__()][name]
except keyerror:
raise attributeerror(name)
假设我们有id为1,2, … , n 的n个线程或者协程,每个都用local对象保存有自己的一些局部数据,那么local对象的内容如下图所示:
此外,local类还提供了__release_local__方法,用来释放当前线程或者协程保存的数据。
local 扩展接口
werkzeug 在 local 的基础上实现了 localstack 和 localmanager,用来提供更加友好的接口支持。
localstack
localstack通过封装local从而实现了一个线程(或者协程)独立的栈结构,注释里面有具体的使用方法,一个简单的使用例子如下
ls = localstack()
ls.push(12)
print ls.top # 12
print ls._local.__storage__
# {140735190843392: {‘stack’: [12]}}
localstack 的实现比较有意思,它将一个local对象作为自己的属性_local,然后定义接口push, pop 和 top 方法进行相应的栈操作。这里用 _local.__storage__._local.__ident_func__() 这个list来模拟栈结构。在接口push, pop和top中,通过操作这个list来模拟栈的操作,需要注意的是在接口函数内部获取这个list时,不用像上面黑体那么复杂,可以直接用_local的getattr()方法即可。以 push 函数为例,实现如下:
def push(self, obj):
“””pushes a new item to the stack”””
rv = getattr(self._local, ‘stack’, none)
if rv is none:
self._local.stack = rv = []
rv.append(obj)
return rv
pop 和 top 的实现和一般栈类似,都是对 stack = getattr(self._local, ‘stack’, none) 这个列表进行相应的操作。此外,localstack还允许我们自定义__ident_func__,这里用 内置函数 property 生成了描述器,封装了__ident_func__的get和set操作,提供了一个属性值__ident_func__作为接口,具体代码如下:
def _get__ident_func__(self):
return self._local.__ident_func__
def _set__ident_func__(self, value):
object.__setattr__(self._local, ‘__ident_func__’, value)
__ident_func__ = property(_get__ident_func__, _set__ident_func__)
del _get__ident_func__, _set__ident_func__
localmanager
local 和 localstack 都是线程或者协程独立的单个对象,很多时候我们需要一个线程或者协程独立的容器,来组织多个local或者localstack对象(就像我们用一个list来组织多个int或者string类型一样)。
werkzeug实现了localmanager,它通过一个list类型的属性locals来存储所管理的local或者localstack对象,还提供cleanup方法来释放所有的local对象。werkzeug中localmanager最主要的接口就是装饰器方法make_middleware,代码如下:
def make_middleware(self, app):
“””wrap a wsgi application so that cleaning up happens after
request end.
“””
def application(environ, start_response):
return closingiterator(app(environ, start_response), self.cleanup)
return application
这个装饰器注册了回调函数cleanup,当一个线程(或者协程)处理完请求之后,就会调用cleanup清理它所管理的local或者localstack 对象(closingiterator 的实现在 werkzeug.wsgi中)。下面是一个使用 localmanager 的简单例子:
from werkzeug.local import local, localmanager
local = local()
local_2 = local()
local_manager = localmanager([local, local2])
def application(environ, start_response):
local.request = request = request(environ)
…
# application 处理完毕后,会自动清理local_manager 的内容
通过localmanager的make_middleware我们可以在某个线程(协程)处理完一个请求后,清空所有的local或者localstack对象,这样这个线程又可以处理另一个请求了。至此,文章开始时提到的第二个问题就可以解决了。werkzeug.local 里面还实现了一个 localproxy 用来作为local对象的代理,也非常值得去学习。