python迭代器工具包【推荐】

  原文:https://git.io/pytips

  0x01 介绍了迭代器的概念,即定义了 __iter__() 和 __next__() 方法的对象,或者通过 yield 简化定义的“可迭代对象”,而在一些函数式编程语言(见 0x02 python 中的函数式编程)中,类似的迭代器常被用于产生特定格式的列表(或序列),这时的迭代器更像是一种数据结构而非函数(当然在一些函数式编程语言中,这两者并无本质差异)。python 借鉴了 apl, haskell, and sml 中的某些迭代器的构造方法,并在 itertools 中实现(该模块是通过 c 实现,源代码:/modules/itertoolsmodule.c)。

  itertools 模块提供了如下三类迭代器构建工具:

  无限迭代

  整合两序列迭代

  组合生成器

  1. 无限迭代

  所谓无限(infinite)是指如果你通过 for…in… 的语法对其进行迭代,将陷入无限循环,包括:

  

count(start, [step])
  cycle(p)
  repeat(elem [,n])

  从名字大概可以猜出它们的用法,既然说是无限迭代,我们自然不会想要将其所有元素依次迭代取出,而通常是结合 map/zip 等方法,将其作为一个取之不尽的数据仓库,与有限长度的可迭代对象进行组合操作:

  

from itertools import cycle, count, repeat
print(count.__doc__)
  count(start=0, step=1) –> count object
  return a count object whose .__next__() method returns consecutive values.
  equivalent to:
  def count(firstval=0, step=1):
  x = firstval
  while 1:
  yield x
  x += step
  counter = count()
  print(next(counter))
print(next(counter))
  print(list(map(lambda x, y: x+y, range(10), counter)))
  odd_counter = map(lambda x: ‘odd#{}’.format(x), count(1, 2))
print(next(odd_counter))
  print(next(odd_counter))
  0
  1
  [2, 4, 6, 8, 10, 12, 14, 16, 18, 20]
  odd#1
  odd#3
  print(cycle.__doc__)
  cycle(iterable) –> cycle object
  return elements from the iterable until it is exhausted.
  then repeat the sequence indefinitely.
  cyc = cycle(range(5))
  print(list(zip(range(6), cyc)))
  print(next(cyc))
  print(next(cyc))
  [(0, 0), (1, 1), (2, 2), (3, 3), (4, 4), (5, 0)]
  1
  2
  print(repeat.__doc__)
  repeat(object [,times]) -> create an iterator which returns the object
  for the specified number of times. if not specified, returns the object
  endlessly.
  print(list(repeat(‘py’, 3)))
  rep = repeat(‘p’)
  print(list(zip(rep, ‘y’*3)))
  [‘py’, ‘py’, ‘py’]
  [(‘p’, ‘y’), (‘p’, ‘y’), (‘p’, ‘y’)]

  2. 整合两序列迭代

  所谓整合两序列,是指以两个有限序列为输入,将其整合操作之后返回为一个迭代器,最为常见的 zip 函数就属于这一类别,只不过 zip 是内置函数。这一类别完整的方法包括:

 

 accumulate()
  chain()/chain.from_iterable()
  compress()
  dropwhile()/filterfalse()/takewhile()
  groupby()
  islice()
  starmap()
  tee()
  zip_longest()

  这里就不对所有的方法一一举例说明了,如果想要知道某个方法的用法,基本通过 print(method.__doc__) 就可以了解,毕竟 itertools 模块只是提供了一种快捷方式,并没有隐含什么深奥的算法。这里只对下面几个我觉得比较有趣的方法进行举例说明。

  

from itertools import cycle, compress, islice, takewhile, count
  # 这三个方法(如果使用恰当)可以限定无限迭代
  # print(compress.__doc__)
  print(list(compress(cycle(‘py’), [1, 0, 1, 0])))
  # 像操作列表 l[start:stop:step] 一样操作其它序列
  # print(islice.__doc__)
  print(list(islice(cycle(‘py’), 0, 2)))
  # 限制版的 filter
  # print(takewhile.__doc__)
  print(list(takewhile(lambda x: x < 5, count())))   ['p', 'p']   ['p', 'y']   [0, 1, 2, 3, 4]   from itertools import groupby   from operator import itemgetter   print(groupby.__doc__)   for k, g in groupby('aabbc'):   print(k, list(g))   db = [dict(name='python', script=true),   dict(name='c', script=false),   dict(name='c++', script=false),   dict(name='ruby', script=true)]   keyfunc = itemgetter('script')   db2 = sorted(db, key=keyfunc) # sorted by `script'   for isscript, langs in groupby(db2, keyfunc):   print(', '.join(map(itemgetter('name'), langs)))   groupby(iterable[, keyfunc]) -> create an iterator which returns
  (key, sub-iterator) grouped by each value of key(value).
  a [‘a’, ‘a’]
  b [‘b’, ‘b’]
  c [‘c’]
  c, c++
  python, ruby
  from itertools import zip_longest
  # 内置函数 zip 以较短序列为基准进行合并,
  # zip_longest 则以最长序列为基准,并提供补足参数 fillvalue
  # python 2.7 中名为 izip_longest
  print(list(zip_longest(‘abcd’, ‘123’, fillvalue=0)))
  [(‘a’, ‘1’), (‘b’, ‘2’), (‘c’, ‘3’), (‘d’, 0)]

  3. 组合生成器

  关于生成器的排列组合: 

product(*iterables, repeat=1):两输入序列的笛卡尔乘积
  permutations(iterable, r=none):对输入序列的完全排列组合
  combinations(iterable, r):有序版的排列组合
  combinations_with_replacement(iterable, r):有序版的笛卡尔乘积
  from itertools import product, permutations, combinations, combinations_with_replacement
  print(list(product(range(2), range(2))))
  print(list(product(‘ab’, repeat=2)))
  [(0, 0), (0, 1), (1, 0), (1, 1)]
  [(‘a’, ‘a’), (‘a’, ‘b’), (‘b’, ‘a’), (‘b’, ‘b’)]
  print(list(combinations_with_replacement(‘ab’, 2)))
  [(‘a’, ‘a’), (‘a’, ‘b’), (‘b’, ‘b’)]
  # 赛马问题:4匹马前2名的排列组合(a^4_2)
  print(list(permutations(‘abcde’, 2)))
  [(‘a’, ‘b’), (‘a’, ‘c’), (‘a’, ‘d’),
(‘a’, ‘e’), (‘b’, ‘a’), (‘b’, ‘c’),
(‘b’, ‘d’), (‘b’, ‘e’), (‘c’, ‘a’),
(‘c’, ‘b’), (‘c’, ‘d’), (‘c’, ‘e’),
(‘d’, ‘a’), (‘d’, ‘b’), (‘d’, ‘c’),
(‘d’, ‘e’), (‘e’, ‘a’), (‘e’, ‘b’), (‘e’, ‘c’), (‘e’, ‘d’)]
  # 彩球问题:4种颜色的球任意抽出2个的颜色组合(c^4_2)
  print(list(combinations(‘abcd’, 2)))
  [(‘a’, ‘b’), (‘a’, ‘c’), (‘a’, ‘d’), (‘b’, ‘c’), (‘b’, ‘d’), (‘c’, ‘d’)]

Posted in 未分类

发表评论