python抓取框架scrapy的架构

最近在学python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的python抓取框架scrapy，下面一起学习下scrapy的架构，便于更好的使用这个工具。

一、概述

下图显示了scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。

更多python抓取框架 scrapy的架构相关文章请关注php中文网！