网络爬虫是由什么组成的?网络爬虫使用的框架又是什么?

　　Python爬虫是由架构组成部分:

　　1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器;

　　2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器;

　　3.网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

　　Python爬虫常用框架有：

　　grab：网络爬虫框架(基于pycurl/multicur);

　　scrapy：网络爬虫框架(基于twisted)，不支持Python3;

　　pyspider：一个强大的爬虫系统;

　　cola：一个分布式爬虫框架;

　　portia：基于Scrapy的可视化爬虫;

　　restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象;

　　demiurge：基于PyQuery的爬虫微框架。

　　通过上面的信息，大家对于爬虫有更多了解，对代理ip的搭配使用有更多的可能性。