python中使用asyncio封装文件读写详解及实例

本文主要给大家简单讲解如何用 asyncio.future 对象来封装文件的异步读写。有需要的小伙伴可以参考下

“>

前言

和网络 io 一样,文件读写同样是一个费事的操作。

默认情况下,python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了

f = file(‘xx’)
f.read()

会阻塞事件循环。

本篇简述如何用 asyncio.future 对象来封装文件的异步读写。

代码在 github。目前仅支持 linux。

阻塞和非阻塞

首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。

阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 linux 版本。如果有过 unix 系统编程经验,会发现 python 的操作是类似的。

flag = fcntl.fcntl(self.fd, fcntl.f_getfl)
if fcntl.fcntl(self.fd, fcntl.f_setfl, flag | os.o_nonblock) != 0:
raise oserror()

future 对象

future 对象类似 javascript 中的 promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用

result = await future

在 future 得到值之后返回。而使用

future.set_result(xxx)

就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。

loop.call_soon

通过 loop.call_soon 方法可以将一个函数插入到事件循环中。

至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。

可以发现其就是把传统 unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。

下面是这一过程的示意代码。

def read_step(self, future, n, total):
res = self.fd.read(n)
if res is none:
self.loop.call_soon(self.read_step, future, n, total)
return
if not res: # eof
future.set_result(bytes(self.rbuffer))
return
self.rbuffer.extend(res)
self.loop.call_soon(self.read_step, future, self.block_size, total)
def read(self, n=-1):
future = asyncio.future(loop=self.loop)
self.rbuffer.clear()
self.loop.call_soon(self.read_step, future, min(self.block_size, n), n)
return future

以上就是python中使用asyncio封装文件读写详解及实例的详细内容,更多请关注 第一php社区 其它相关文章!

Posted in 未分类

发表评论