1、首先找到一个在线成语网站
2、查看网页结构，定义正则式看一下要抓的成语的标签有什么特点，查看源码，可以发现要抓的成语都在标签中，如:安如磐石，成语事实上就是一个瞄文本，不同成语指向的链接不同，其实也就”/cy0/93.html”中的数字不同，所以正则式里匹配两次数字就行了，定义正则式 reg = “(.*?)”。3、上代码吧
代码如下:
#anthor jiqunpeng#time 20121124import urllibimport re
def gethtml(url): #从url中读取html内容 page = urllib.urlopen(url) html = page.read() page.close() return html
def getdictionary(html): #匹配成语 reg = “(.*?)” diclist = re.compile(reg).findall(html) return diclist
def getitemsite():#手工把每个字母开头的页面数统计下来 itemsite = {}#申明为空字典 itemsite[“a”] = 3 itemsite[“b”] = 21 itemsite[“c”] = 19 itemsite[“d”] = 18 itemsite[“e”] = 2 itemsite[“f”] = 14 itemsite[“g”] = 13 itemsite[“h”] = 15 itemsite[“j”] = 23 itemsite[“k”] = 6 itemsite[“l”] = 15 itemsite[“m”] = 12 itemsite[“n”] = 5 itemsite[“o”] = 1 itemsite[“p”] = 6 itemsite[“q”] = 16 itemsite[“r”] = 8 itemsite[“s”] = 26 itemsite[“t”] = 12 itemsite[“w”] = 13 itemsite[“x”] = 16 itemsite[“y”] = 35 itemsite[“a”] = 21 return itemsite
if __name__== “__main__”: dicfile = open(“dic.txt”,”w+”)#保存成语的文件 domainsite = “http://chengyu.itlearner.com/list/” itemsite = getitemsite() for key,values in itemsite.items(): for index in range(1,values+1): site = key +”_”+str(index)+”.html” dictionary = getdictionary(gethtml(domainsite+site)) for dic in dictionary: dicfile.write(dic[2]+”@@cy\n”)#标记为成语，分词时使用 print key+’字母成语抓取完毕’ dicfile.close() print ‘全部成语抓取完毕’
把成语保存在了txt文本中，还添加了一个后缀标签。最后注意，设计正则表达式时可能会出现明明认为是正确的，就是匹配不了，对空白字符要留意，比如说要解析：
代码如下:
kkun
你看不出第一行与第二行的空白字符是什么，可以index = html.find(‘avatar_name’)，html[4677:4677+100]看到非空白字符。