找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1794|回复: 1

[求助] 谈谈喜马拉雅的反爬机制?

1

主题

1

帖子

1

积分

贫民

积分
1
dai123456 发表于 2018-11-23 14:06:40 | 显示全部楼层 |阅读模式
最近想做大数据分析; 所以想爬取了喜马拉雅的标题信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表