找回密码
 立即注册

扫一扫，访问微社区

QQ登录

只需一步，快速开始

返回列表 发新帖
查看: 2044|回复: 0

Scrapy如何控制代理池中的IP切换频率

1

主题

1

帖子

1

积分

贫民

积分
1
munchens 发表于 2019-4-10 18:09:42 | 显示全部楼层 |阅读模式
目前采用的Scrapy和下载中间件、IP代理池的方式进行网络爬取。现在有个需求是根据不同浏览器来设置不同的切换频率。比如爬取百度时，3秒钟切换一个IP。爬取搜狗时，一秒钟切换一个IP。简单的说就是提高代理利用率，大家有思路或者相关的经验嘛？
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表