|
|
其实这个之前我有在论坛问过的，但是没人回复，不过所幸我自己解决了。
看过前面文章的朋友，肯定都知道我最近在看python这一块的内容，然后既然看了python那么就不得不看一下python最火爆的一个功能，爬虫。
然后呢，最近又正好看了几篇知乎盐选的文章，所以就想试试手，把文章内容爬取下来，但是一开始还好说。
直接用requests_html就能爬下来，但是后免得内容就需要开会员才能爬了，但是主要就是我开了会员呀。所以就找了一下关于python爬虫模拟登录的代码，发现大部分的都是比较麻烦的，而我又比较懒，并且昨天还发烧了，所以就找了一个简单的方法，使用别人的开源库。DecryptLogin这个库是一个开源的模拟登陆的库，目前支持许多的网站模拟登陆了，所以就决定使用这个进行测试。
from DecryptLogin import login
首先呢先把库导入进去，然后通过内置的函数进行模拟登陆。
lg = login.Login()
_, loginstauts = lg.zhihu(username='', password='', mode='pc')
然后模拟登录，发现可行，于是就决定使用这个库来进行模拟登陆了。
但是没想到我当时以为离成功就差一步的时候，现实给我来了一记头槌，使用xpath一直获取不到内容，然后库给的示例发现并不是很能看懂，顶多看个意思，然后自己尝试发现并不可行，不是这个错误就是那个错误。
之后呢，本来以为要在这里卡很久的我，突然在下午的时候想到了去看这个库的代码，看看里面都调用了什么内容。
import requests
没想到调用了requests库，这下好办了，直接使用requests库的方法就行了。headers = { 'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"}这个是设置一下useragent，之后只需要请求一下数据即可
url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520"
r = loginstauts.get(url2, headers=headers)
wenzi = r.text
之后我们直接.text就能获取html页面的所有内容了，不过很明显，带着各类html标签的内容不是我们想要的，我一开始都是用的requests_html，本来还以为requests有xpath功能呢，没想到并没有，一开始看都推荐的是
from lxml import etree这个，但是我比较想找一个简单的，所以百度一查发现了
from bs4 import BeautifulSoup这个，很nice。soup = BeautifulSoup(wenzi, 'lxml', from_encoding='utf8')texts = soup.find_all('p')for text in texts: print(text.get_text())这样我们就能读取所有的内容了，不过其实当时还遇到了一个问题，就是使用find_all这个方法之后使用.string属性的话，获取到的内容为none百度查过大部分人说是因为有br标签，但是自己也看过并没有，所以并没有找到什么原因，后来在csdn的一篇文章里的评论看到了一个大佬说的.get_text()方法，换成这个没想到就出结果了，难以想象。
其实看代码只是几行，但是确实是心血，哈哈。
毕竟中途也遇到了许多的问题，不过幸好大部分都解决了，没解决的也都有替换的方法。不过说真的，想要学习编程还是需要有一个好的环境，毕竟在学习的路上会遇到很多的问题，如果百度没查到，那么就需要去查论坛，去提问，去询问了。
进阶版:python爬取知乎盐选全部内容https://zjzdmc.top/rcxx/64.html
|
|
