找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 2796|回复: 1

[求助] 豆瓣爬虫求助!

1

主题

1

帖子

1

积分

贫民

积分
1
ashlike 发表于 2020-8-1 21:26:18 | 显示全部楼层 |阅读模式
  1. import requests
  2. from bs4 import BeautifulSoup

  3. start=0
  4. result=[]
  5. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}

  6. for i in range (0,1):
  7.     html=requests.get('https://movie.douban.com/top250?start='+str(start)+'&filter=',headers=header)
  8.    
  9.     html.encoding='utf-8'
  10.     start+=25
  11.     soup=BeautifulSoup(html.text,'html.parser')

  12.     for item in soup.find_all('div','info'):
  13.         title=item.div.a.span.string
  14.         yearline=item.find('div','bd').p.contents[2].string
  15.         yearline=yearline.replace('\n','')
  16.         yearline=yearline.replace(' ','')
  17.         year=yearline[0:4]
  18.         rating=item.find('span',{'class':'rating_num'}).get_text()

  19.         oneresult=[title,rating,year]
  20.         result.append(oneresult)
  21.         
  22. print(result)
  23.         
复制代码
上面是别人写的爬取豆瓣电影 Top 250(https://movie.douban.com/top250)的代码
我想要把它改成用来查询 豆瓣热门电视剧的标题和评分(https://movie.douban.com/tv/#!ty ... 20&page_start=0
  1. import requests
  2. from bs4 import BeautifulSoup

  3. start=0
  4. result=[]
  5. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}

  6. for i in range (0,1):
  7.     html=requests.get('https://movie.douban.com/tv/#!type=tv&tag=%E6%97%A5%E5%89%A7&sort=time&page_limit=20&page_start='+str(start),headers=header)
  8.    
  9.     html.encoding='utf-8'
  10.     start+=20
  11.     soup=BeautifulSoup(html.text,'html.parser')

  12.     for item in soup.find_all('div','list-wp'):
  13.         '不知道怎么写
  14.         
  15.     oneresult=[title,rating,year]
  16.         result.append(oneresult)
  17.         
  18. print(result)
复制代码
但是卡在这里不知道该怎么写
求大神帮助!
回复

使用道具 举报

0

主题

8

帖子

8

积分

贫民

积分
8
QQ
猪不会转弯 发表于 2020-8-6 07:47:52 | 显示全部楼层
不是你不会写   而是这样爬取   爬取不到内容
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表