找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1958|回复: 3

[求助] 有偿! 请大神指点这种神奇网页获取文章的链接的python代码!

1

主题

3

帖子

3

积分

贫民

积分
3
wx_Im6xpogk 发表于 2019-2-25 09:33:53 | 显示全部楼层 |阅读模式
有偿! 请大神指点这种神奇网页获取文章的链接的python代码!
https://www.xuexi.cn/
网页源代码只有CSS样式,
检查元素只有这样的:<div id="Ckhjp4r149s000" class="word-item" control="text" title="">不得将限制生育作为录用女职工的条件</div>
实际网页链接是
https://www.xuexi.cn/d24605f1e36679b670ca4bb46a0e7ae8[大概是文章ID的加密字符串]/[大概是用户名的加密字符串].html
这是什么网页代码?
怎么用python分析链接?



回复

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
wx_Im6xpogk  楼主| 发表于 2019-2-28 09:29:54 | 显示全部楼层
如果网页都这样, 爬虫全歇菜了
回复 支持 反对

使用道具 举报

0

主题

956

帖子

956

积分

圣骑士

积分
956
sheeboard 发表于 2019-2-28 12:03:17 | 显示全部楼层
你提供的连接无效。
很多网站是js写的动态页面,需浏览器里的解析器来生成html代码,可以用selenium的无窗口模式来爬,不过效率低下。熟手可以分析代码直接抓取json文件来提取需要的内容。
你这种网页不涉及验证和反爬技术,还是很好爬的。
回复 支持 反对

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
wx_Im6xpogk  楼主| 发表于 2019-3-1 10:30:47 | 显示全部楼层
sheeboard 发表于 2019-2-28 12:03
你提供的连接无效。
很多网站是js写的动态页面,需浏览器里的解析器来生成html代码,可以用selenium的无窗 ...

谢谢, 我还是没有头绪
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表