找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1537|回复: 2

[求助] 【新手求助】Python API Requests GET 单次请求返回数据量有限...

1

主题

2

帖子

2

积分

贫民

积分
2
wx_Ko4pkP4m 发表于 2019-8-5 15:47:26 | 显示全部楼层 |阅读模式
Python Requests 单次请求只能获取50条数据,超过50条,后Next 值为 50*n +1 ,详细说明如下:
——————————————————
数据API还可以通过以下请求获取表单已收集的数据:

https://jinshuju.net/api/v1/forms/xxx(表单token)/entries   
如果已收集数据超出50条时,会在底部next这里出现数值。反之则为null。
________________________________________
超出50条数据事例:

"total": 160,
    "count": 50,
    "data": [
        {
        ··············
        }
    ],
    "next": 51
_________________________________________
未超出50条数据事例:

"total": 10,
    "count": 10,
    "data": [
        {
        ··············
        }
    ],
    "next": null
________________________________________
获取50条后的数据使用以下请求:

https://jinshuju.net/api/v1/forms/xxx(表单token)/entries?next=xx(next值)


新手上路,只会请求一次,如果循环多次请求,获取所有数据并保存到同一TEXT 中

请各位前辈指教!
回复

使用道具 举报

1

主题

2

帖子

2

积分

贫民

积分
2
wx_Ko4pkP4m  楼主| 发表于 2019-8-13 10:31:32 | 显示全部楼层
看来这个论坛不太行,问问题都没人理
回复 支持 反对

使用道具 举报

0

主题

18

帖子

18

积分

贫民

积分
18
wengboyu 发表于 2019-8-16 13:38:53 | 显示全部楼层
  1. def get_remarks():
  2.     url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv11480&productId=100000287113&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
  3.     contents = []
  4.     for page in range(10):
  5.         headers = {'Referer': 'https://item.jd.com/100000287113.html'}
  6.         try:
  7.             resp**e = requests.get(url.format(page), headers=headers)
  8.         except Exception as e:
  9.             raise e
  10.         time.sleep(random.random() * 10)
  11.         remark_json = json.loads(resp**e.text[27:-2])
  12.         contents += [comment['content'] for comment in remark_json['comments']]
  13.     filedir = sys.path[0] + os.sep + 'comments.txt'
  14.     with open(filedir, 'w') as file:
  15.         file.writelines('\n'.join(contents))
复制代码
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表