找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 69|回复: 0

Scrapy如何控制代理池中的IP切换频率

1

主题

1

帖子

1

积分

贫民

积分
1
munchens 发表于 2019-4-10 18:09:42 | 显示全部楼层 |阅读模式
目前采用的Scrapy和下载中间件、IP代理池的方式进行网络爬取。现在有个需求是根据不同浏览器来设置不同的切换频率。比如爬取百度时,3秒钟切换一个IP。爬取搜狗时,一秒钟切换一个IP。简单的说就是提高代理利用率,大家有思路或者相关的经验嘛?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表