为什么第一个会乱码

本来想爬房产网站的二手房信息，然后用beautifulsoup分析，结果用urllib.request爬取下来的信息全是乱码，用requests就不乱码，不知道为什么，网页源码格式显示是gb2312，编程环境win7 32  python 3.5   在jiebrain里边写的

代码1
import urllib.request
from bs4 import BeautifulSoup
req = 'http://esf.qd.fang.com/house-a01142/i31/'
#print(req)
response = urllib.request.urlopen(req)
the_page = response.read()
t=the_page.decode('gb2312','ignore')
print(t)
运行显示乱码,用print输出还需要encode 吗？
代码2import requests
from bs4 import BeautifulSoup
url="http://esf.qd.fang.com/house-a01142/i31/"
resp=requests.get(url)
print ( resp.text)可以正常运行没有乱码

因为我们一般设置自己的编码方式是utf-8，你说的那个网站是gb2312编码方式的，你从网上读取源码下来他的格式还是gb2312，如果没转换编码方式直接打印到屏幕上就是乱码，你出现乱码的原因，就是编码问题，就是网站源码的编码跟你的默认编码方式不一致导致的

那样的话第一段程序应该如何修改？我已经用decode 解码成unicode了，输出的时候还需要用encode重新编码？

是的，就是先按他自己的编码方式解码成unicode，再从unicode编码成自己的默认编码方式

如果那样的话，我encode后print出来全是字节显示啊

yingmu1117 发表于 2017-3-30 16:11
如果那样的话，我encode后print出来全是字节显示啊

print str.decode('gb2312').encode('utf-8')

虽然我也不是很厉害，但是书上说最好是按照原来的编码进行下载，我一般都是爬下来的东西直接写入文档，然后再进行操作，写入的时候要用open(filename,'wb')方式，因为wb方式可以避免一些编码丢失