找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 3270|回复: 2

[求助] 最近尝试去爬取拉钩网总是提示访问频繁?

1

主题

2

帖子

2

积分

贫民

积分
2
吃猫的鱼 发表于 2019-1-7 17:36:22 | 显示全部楼层 |阅读模式
  1. import requests
  2. url='https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7&needAddtionalResult=false'
  3. headers={
  4. 'Host':'www.lagou.com',
  5. 'Connection':'keep-alive',
  6. 'Content-Length':'22',
  7. 'Pragma':'no-cache',
  8. 'Cache-Control':'no-cache',
  9. 'Origin':'https://www.lagou.com',
  10. 'X-Anit-Forge-Code':'0',
  11. 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
  12. 'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
  13. 'Accept':'application/json, text/javascript, */*; q=0.01',
  14. 'X-Requested-With':'XMLHttpRequest',
  15. 'X-Anit-Forge-Token':'None',
  16. 'Referer':'https://www.lagou.com/jobs/list_php?labelWords=&fromSearch=true&suginput=',
  17. 'Accept-Encoding':'gzip,deflate,br',
  18. 'Accept-Language':'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7'
  19. }
  20. data={
  21.     'first':'true',
  22.     'pn':1,
  23.     'kd':'php'
  24. }
  25. resp=requests.post(url=url,data=data,headers=headers)
  26. print(resp.text)
复制代码
得到:{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"xxx.xxx.xxx.xxx","state":2402}{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"203.177.28.107","state":2402}
拉钩请求头全部按照浏览器请求头添加了数据,但是总是失败;不知道哪位大神可以帮小白解惑
回复

使用道具 举报

0

主题

1

帖子

1

积分

贫民

积分
1
酒醉太平啊 发表于 2019-1-21 12:11:38 | 显示全部楼层
我也遇到同样的问题,请问楼主解决了吗
回复 支持 反对

使用道具 举报

0

主题

4

帖子

4

积分

贫民

积分
4
QQ
whoami 发表于 2019-1-31 10:48:19 | 显示全部楼层
ip被封,换用代理
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表