前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。
1. 搜索引擎的选取
选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：google、bing、baidu、yahoo!。 作为程序员，我首选google。但当我看见我最爱的google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了bing的阵营，在用过一段时间后我发现bing返回的搜索结果对于我的问题来说不太理想。正当我要绝望时，google拯救了我。原来google为了照顾那些禁止浏览器使用js的用户，还有另外一种搜索方式，请看下面的搜索url：
https://www.google.com.hk/search?hl=en&q=hello
hl指定要搜索的语言，q就是你要搜索的关键字。 好了，感谢google，搜索结果页面包含我要抓取的内容。
ps: 网上很多利用python抓取google搜索结果还是利用 https://ajax.googleapis.com/ajax/services/search/web… 的方法。需要注意的是这个方法google已经不再推荐使用了，见 https://developers.google.com/web-search/docs/ 。google现在提供了custom search api， 不过api限制每天100次请求，如果需要更多则只能花钱买。
2. python抓取并分析网页
利用python抓取网页很方便，不多说，见代码:
def search(self, querystr):
querystr = urllib2.quote(querystr)
url = ‘https://www.google.com.hk/search?hl=en&q=%s’ % querystr
request = urllib2.request(url)
response = urllib2.urlopen(request)
html = response.read()
results = self.extractsearchresults(html)
第6行的 html 就是我们抓取的搜索结果页面源码。使用过python的同学会发现，python同时提供了urllib 和 urllib2两个模块，都是和url请求相关的模块，不过提供了不同的功能，urllib只可以接收url，而urllib2可以接受一个request类的实例来设置url请求的headers，这意味着你可以伪装你的user agent 等(下面会用到)。
现在我们已经可以用python抓取网页并保存下来，接下来我们就可以从源码页面中抽取我们想要的搜索结果。python提供了htmlparser模块，不过用起来相对比较麻烦，这里推荐一个很好用的网页分析包beautifulsoup，关于beautifulsoup的用法官网有详细的介绍，这里我不再多说。
利用上面的代码，对于少量的查询还比较ok，但如果要进行上千上万次的查询，上面的方法就不再有效了， google会检测你请求的来源，如果我们利用机器频繁爬取google的搜索结果，不多久就google会block你的ip，并给你返回503 error页面。这不是我们想要的结果，于是我们还要继续探索
前面提到利用urllib2我们可以设置url请求的headers, 伪装我们的user agent。简单的说，user agent就是客户端浏览器等应用程序使用的一种特殊的网络协议， 在每次浏览器（邮件客户端/搜索引擎蜘蛛）进行 http 请求时发送到服务器，服务器就知道了用户是使用什么浏览器（邮件客户端/搜索引擎蜘蛛）来访问的。 有时候为了达到一些目的，我们不得不去善意的欺骗服务器告诉它我不是在用机器访问你。
于是，我们的代码就成了下面这个样子:
user_agents = [‘mozilla/5.0 (windows nt 6.1; wow64; rv:23.0) gecko/20130406 firefox/23.0’, \
‘mozilla/5.0 (windows nt 6.1; wow64; rv:18.0) gecko/20100101 firefox/18.0’, \
‘mozilla/5.0 (windows; u; windows nt 6.1; en-us) applewebkit/533+ \
(khtml, like gecko) element browser 5.0’, \
‘ibm webexplorer /v0.94’, ‘galaxy/1.0 [en] (mac os x 10.5.6; u; en)’, \
‘mozilla/5.0 (compatible; msie 10.0; windows nt 6.1; wow64; trident/6.0)’, \
‘opera/9.80 (windows nt 6.0) presto/2.12.388 version/12.14’, \
‘mozilla/5.0 (ipad; cpu os 6_0 like mac os x) applewebkit/536.26 (khtml, like gecko) \
version/6.0 mobile/10a5355d safari/8536.25’, \
‘mozilla/5.0 (windows nt 6.1) applewebkit/537.36 (khtml, like gecko) \
chrome/28.0.1468.0 safari/537.36’, \
‘mozilla/5.0 (compatible; msie 9.0; windows nt 6.0; trident/5.0; theworld)’]
def search(self, querystr):
querystr = urllib2.quote(querystr)
url = ‘https://www.google.com.hk/search?hl=en&q=%s’ % querystr
request = urllib2.request(url)
index = random.randint(0, 9)
user_agent = user_agents[index]
request.add_header(‘user-agent’, user_agent)
response = urllib2.urlopen(request)
html = response.read()
results = self.extractsearchresults(html)
不要被user_agents那个list吓到，那其实就是10个user agent 字符串，这么做是让我们伪装的更好一些，如果你需要更多的user agent 请看这里 useragentstring。
17-19行表示随机选择一个user agent 字符串，然后用request 的add_header方法伪装一个user agent。
通过伪装user agent能够让我们持续抓取搜索引擎结果，如果这样还不行，那我建议在每两次查询间随机休眠一段时间，这样会影响抓取速度，但是能够让你更持续的抓取结果，如果你有多个ip，那抓取的速度也就上来了。