这几天在翻旧代码时发现以前写的注释部分有很多单词拼写错误，这些单词错得不算离谱，应该可以用工具自动纠错绝大部分。用 python 写个拼写检查脚本很容易，如果能很好利用 aspell/ispell 这些现成的小工具就更简单了。
要点
1、输入一个拼写错误的单词，调用 aspell -a 后得到一些候选正确单词，然后用距离编辑进一步嗮选出更精确的词。比如运行 aspell -a，输入 ‘hella’ 后得到如下结果：
hell, helli, hello, heal, heall, he’ll, hells, heller, ella, hall, hill, hull, hall, heel, hill, hula, hull, helga, helsa, bella, della, mella, sella, fella, halli, hally, hilly, holli, holly, hallo, hilly, holly, hullo, hell’s, hell’s
2、什么是距离编辑（edit-distance，也叫 levenshtein algorithm）呢？就是说给定一个单词，通过多次插入、删除、交换、替换单字符的操作后枚举出所有可能的正确拼写，比如输入 ‘hella’，经过多次插入、删除、交换、替换单字符的操作后变成：
‘helkla’, ‘hjlla’, ‘hylla’, ‘hellma’, ‘khella’, ‘iella’, ‘helhla’, ‘hellag’, ‘hela’, ‘vhella’, ‘hhella’, ‘hell’, ‘heglla’, ‘hvlla’, ‘hellaa’, ‘ghella’, ‘hellar’, ‘heslla’, ‘lhella’, ‘helpa’, ‘hello’, …
3、综合上面2个集合的结果，并且考虑到一些理论知识可以提高拼写检查的准确度，比如一般来说写错单词都是无意的或者误打，完全错的单词可能性很小，而且单词的第一个字母一般不会拼错。所以可以在上面集合里去掉第一个字母不符合的单词，比如：’sella’, ‘mella’, khella’, ‘iella’ 等，这里 vpsee 不删除单词，而把这些单词从队列里取出来放到队列最后（优先级降低），所以实在匹配不了以 h 开头的单词才去匹配那些以其他字母开头的单词。
4、程序中用到了外部工具 aspell，如何在 python 里捕捉外部程序的输入和输出以便在 python 程序里处理这些输入和输出呢？python 2.4 以后引入了 subprocess 模块，可以用 subprocess.popen 来处理。
5、google 大牛 peter norvig 写了一篇 how to write a spelling corrector 很值得一看，大牛就是大牛，21行 python 就解决拼写问题，而且还不用外部工具，只需要事先读入一个词典文件。本文程序的 edits1 函数就是从牛人家那里 copy 的。
代码
#!/usr/bin/python
# a simple spell checker
import os, sys, subprocess, signal
alphabet = ‘abcdefghijklmnopqrstuvwxyz’
def found(word, args, cwd = none, shell = true):
child = subprocess.popen(args,
shell = shell,
stdin = subprocess.pipe,
stdout = subprocess.pipe,
cwd = cwd,
universal_newlines = true)
child.stdout.readline()
(stdout, stderr) = child.communicate(word)
if “: ” in stdout:
# remove \n\n
stdout = stdout.rstrip(“\n”)
# remove left part until :
left, candidates = stdout.split(“: “, 1)
candidates = candidates.split(“, “)
# making an error on the first letter of a word is less
# probable, so we remove those candidates and append them
# to the tail of queue, make them less priority
for item in candidates:
if item[0] != word[0]:
candidates.remove(item)
candidates.append(item)
return candidates
else:
return none
# copy from http://norvig.com/spell-correct.html
def edits1(word):
n = len(word)
return set([word[0:i]+word[i+1:] for i in range(n)] +
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
[word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])
def correct(word):
candidates1 = found(word, ‘aspell -a’)
if not candidates1:
print “no suggestion”
return
candidates2 = edits1(word)
candidates = []
for word in candidates1:
if word in candidates2:
candidates.append(word)
if not candidates:
print “suggestion: %s” % candidates1[0]
else:
print “suggestion: %s” % max(candidates)
def signal_handler(signal, frame):
sys.exit(0)
if __name__ == ‘__main__’:
signal.signal(signal.sigint, signal_handler)
while true:
input = raw_input()
correct(input)
更简单的方法
当然直接在程序里调用相关模块最简单了，有个叫做 pyenchant 的库支持拼写检查，安装 pyenchant 和 enchant 后就可以直接在 python 程序里 import 了：
>>> import enchant
>>> d = enchant.dict(“en_us”)
>>> d.check(“hello”)
true
>>> d.check(“helo”)
false
>>> d.suggest(“helo”)
[‘he lo’, ‘he-lo’, ‘hello’, ‘helot’, ‘help’, ‘halo’, ‘hell’, ‘held’, ‘helm’, ‘hero’, “he’ll”]
>>>