找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1349|回复: 1

[求助] requests包爬下来的内容字符集和浏览器不同

0

主题

1

帖子

1

积分

贫民

积分
1
今天搞么事 发表于 2021-8-31 12:03:56 | 显示全部楼层 |阅读模式
本帖最后由 今天搞么事 于 2021-9-1 14:26 编辑

各位大佬,小弟最近在学python爬虫。遇到一个问题,就是用requests包的POST方法爬下来的内容中文都变成问号了。把resp**e的字符集打印,发现是ISO-8859-1。浏览器端直接访问显示的字符集却是UTF-8。中文也能正常显示,header我也按浏览器的伪装了,为啥会这样呢?

20210831120524.png
20210831120509.png
回复

使用道具 举报

0

主题

2

帖子

2

积分

贫民

积分
2
skyrim 发表于 2021-9-4 00:12:16 来自手机 | 显示全部楼层
这个具体原理我也不太清楚,requests可能用某种方式“猜”出来的返回对象编码格式,所以并不准确,resp**e对象有个属性叫encoding,可以通过这个属性强制把编码格式改为utf8,应该就能正常显示了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表