【爬虫】永久查看糗事百科热门笑话

****************************************************************************************************
知识点：
1.urllib2   了解
2.re  了解
3.beautifulSoup   了解

使用beautifulsoup是为了不管糗百如何变化span的结构，我们都能爬取到内容。从而一劳永逸！

****************************************************************************************************

代码：

1. # coding:utf-8
   
2. #!/usr/bin/python
   
3. 
   
4. import urllib2
   
5. import re
   
6. from bs4 import BeautifulSoup
   
7. 
   
8. 
   
9. number =0  #定义序号变量
   
10. page = raw_input("Please input page:")
    
11. user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    
12. headers = { 'User-Agent' : user_agent }
    
13. request = urllib2.Request('http://www.qiushibaike.com/hot/page/'+str(page)+'/?s=4915651',headers = headers)
    
14. response = urllib2.urlopen(request)
    
15. html = response.read()   #获取页面源码
    
16. soup = BeautifulSoup(html,"html.parser")
    
17. items = soup.find_all('div',attrs={"class":"content"}) #搜索div标签并且同时含有class=content内容
    
18. 
    
19. for item in items:
    
20.     number +=1
    
21.     pattern = re.compile('<span>(.*?)</span>',re.S)
    
22.     lists = re.findall(pattern,str(item))
    
23.     for list in lists:
    
24.         print 'NO',number,':',list.decode('utf-8'),'\n'
    
25.    
    
26. print "End..."

复制代码

效果：

{:8_204:}  非常实用！

非常实用！感谢分享

支持!

参考一下，实验一下

python 2点几啊

小鱼 发表于 2017-1-26 00:54
python 2点几啊

python2.7