本文实例讲述了python使用scrapy采集时伪装成http/1.1的方法。分享给大家供大家参考。具体如下：
添加下面的代码到 settings.py 文件
代码如下:
downloader_httpclientfactory = ‘myproject.downloader.httpclientfactory’
保存以下代码到单独的.py文件
代码如下:
from scrapy.core.downloader.webclient import scrapyhttpclientfactory, scrapyhttppagegetter
class pagegetter(scrapyhttppagegetter):
def sendcommand(self, command, path):
self.transport.write(‘%s %s http/1.1\r\n’ % (command, path))
class httpclientfactory(scrapyhttpclientfactory):
protocol = pagegetter
希望本文所述对大家的python程序设计有所帮助。