网络爬虫是由什么组成的?网络爬虫使用的框架又是什么?
Python爬虫是由架构组成部分:
1. URL管理器:管理待爬取的url集合和已爬取的url集合,传送待爬取的url给网页下载器;
2. 网页下载器:爬取url对应的网页,存储成字符串,传送给网页解析器;
3.网页解析器:解析出有价值的数据,存储下来,同时补充url到URL管理器。
Python爬虫常用框架有:
grab:网络爬虫框架(基于pycurl/multicur);
scrapy:网络爬虫框架(基于twisted),不支持Python3;
pyspider:一个强大的爬虫系统;
cola:一个分布式爬虫框架;
portia:基于Scrapy的可视化爬虫;
restkit:Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象;
demiurge:基于PyQuery的爬虫微框架。
通过上面的信息,大家对于爬虫有更多了解,对代理ip的搭配使用有更多的可能性。