找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 4340|回复: 5

[已解决] python爬虫的问题

2

主题

6

帖子

6

积分

贫民

积分
6
wqy920822 发表于 2017-5-17 10:06:34 | 显示全部楼层 |阅读模式
我使用post爬取网页表格数据,网站如下http://www.ipe.org.cn/Industr...,现在遇到了2个问题,其中一个问题是违规类型中<input type="checkbox" name="violation" data-role="all" checked="" value="0">,该网页已经设定了checked,已经有默认值,而我只想要violation=1的数据,不知道该怎么办
第二个问题是在选择国家,省份,城市过程<select class="select" name="select" id="country_0">我无法直接用name 以及value选择我想要的表单数据
跪求各位大神的解答

回复

使用道具 举报

50

主题

1057

帖子

1108

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1108

活跃会员热心会员最佳导师默默耕耘突出贡献优秀版主荣誉管理论坛元老

blueelwang 发表于 2017-5-17 10:22:26 | 显示全部楼层
它的数据实际是通过ajax请求回来的, 直接构造一个请求, 请求这个接口http://www.ipe.org.cn/data_ashx/GetAirData.ashx, 这样不就可以啦
回复 支持 反对

使用道具 举报

2

主题

6

帖子

6

积分

贫民

积分
6
wqy920822  楼主| 发表于 2017-5-17 10:43:10 | 显示全部楼层
blueelwang 发表于 2017-5-17 10:22
它的数据实际是通过ajax请求回来的, 直接构造一个请求, 请求这个接口http://www.ipe.org.cn/data_ashx/Ge ...

谢谢回答,我按照您说的做了一下,跑出来还是他checkbox中的默认类型
回复 支持 反对

使用道具 举报

2

主题

6

帖子

6

积分

贫民

积分
6
wqy920822  楼主| 发表于 2017-5-17 10:56:26 | 显示全部楼层
blueelwang 发表于 2017-5-17 10:22
它的数据实际是通过ajax请求回来的, 直接构造一个请求, 请求这个接口http://www.ipe.org.cn/data_ashx/Ge ...

不对按照您给的url,什么数据都跑不出来
回复 支持 反对

使用道具 举报

50

主题

1057

帖子

1108

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1108

活跃会员热心会员最佳导师默默耕耘突出贡献优秀版主荣誉管理论坛元老

blueelwang 发表于 2017-5-17 11:41:23 | 显示全部楼层
wqy920822 发表于 2017-5-17 10:56
不对按照您给的url,什么数据都跑不出来

兄弟,仔细看看! 这个问题你通过浏览器查看请求就能发现, post请求参数itemType设置为1(相当于violation=1), 它其实是把参数做了转换
回复 支持 反对

使用道具 举报

2

主题

6

帖子

6

积分

贫民

积分
6
wqy920822  楼主| 发表于 2017-5-18 11:30:54 | 显示全部楼层
blueelwang 发表于 2017-5-17 11:41
兄弟,仔细看看! 这个问题你通过浏览器查看请求就能发现, post请求参数itemType设置为1(相当于violati ...

谢谢哥们了。非常感谢
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表