python模拟GET请求json数据约1.45M，用时却达10秒，请问是正常吗

frog77 · 发表于 2014-7-23 13:04:26

使用python模拟GET请求某网站服务器上json数据，循环了20次（20位好友）获取了每位好友主题帖的第一页20条主题数据，也就是一共400条数据，大约1.45M，用时却达10秒，期间是一直在下载数据，没有卡壳情况。
这是和网速有关，还是应该采用多线程？！

赵大班长1 · 发表于 2014-7-29 14:32:40

如果启用多线程很有可能出现数据抓取错误，我之前做过抓取淘宝的数据，抓取1万个商品的给类信息，其中会进行多次的请求，使用多线程就容易出现问题~~

		自动登录	找回密码
密码			立即注册

[求助] python模拟GET请求json数据约1.45M，用时却达10秒，请问是正常吗