python爬虫爬取百度贴吧列表数据

这是一个可以爬取百度贴吧列表爬虫

1. #coding=utf-8
   
2. import requests
   
3. import re
   
4. 
   
5. class spider():
   
6.     def __init__(self):
   
7.         print('爬虫启动.......')
   
8.     def getSource(self,url):
   
9.         html=requests.get(url).text
   
10.         return html
    
11.     def changePage(self,url,num_total):
    
12.         changePage=[]
    
13.         for each in range(1,num_total+1,50):
    
14.             urlNow=re.sub('pn=(\d+)', 'pn=%s'%each, url,re.S)
    
15.             changePage.append(urlNow)
    
16.         return changePage
    
17.     def getmyideaInfo(self,source):
    
18.         li=re.findall('<li class=" j_thread_list clearfix"(.*?)</li>', source, re.S)
    
19.         return li
    
20.     def getinfo(self,classinfo):
    
21.         info={}
    
22.         info['最后回复时间']=re.findall('<span class="threadlist_reply_date pull_right j_reply_data" title="最后回复时间">(.*?)</span>', classinfo, re.S)
    
23.         info['回复人数']=re.findall('title="回复">(.*?)</span>', classinfo, re.S)
    
24.         info['主题']=re.findall('target="_blank" class="j_th_tit ">(.*?)</a>', classinfo, re.S)
    
25.         info['主题作者']=re.findall('title="主题作者:(.*?)"',classinfo,re.S)
    
26.         info['内容']=re.findall('<div class="threadlist_abs threadlist_abs_onlyline ">(.*?)</div>', classinfo, re.S)
    
27.         info['最后回复人']=re.findall(' <span class="tb_icon_author_rely j_replyer" title="最后回复人:(.*?)">', classinfo, re.S)
    
28.         return info
    
29.     def saveinfo(self,info):
    
30.         f=open('infoTieba.txt','a')
    
31.         for each in info:
    
32.             try:
    
33.                 f.writelines('回复人数'+''.join(each['回复人数'])+'\n')
    
34.                 f.writelines('主题'+''.join(each['主题']).encode('utf-8')+'\n')
    
35.                 f.writelines('主题作者'+''.join(each['主题作者']).encode('utf-8')+'\n')
    
36.                 f.writelines('内容'+''.join(each['内容']).encode('utf-8')+'\n')
    
37.                 f.writelines('最后回复人'+''.join(each['最后回复人'])+'\n\n')
    
38.             except:
    
39.                 pass
    
40.         f.close()
    
41.                  
    
42.                
    
43. if __name__=='__main__':
    
44.     classInfo=[]
    
45.     url='http://tieba.baidu.com/f?kw=%E5%8F%8C%E6%B1%9F%E4%B8%AD%E5%AD%A6&ie=utf-8&pn=1'
    
46.     mySpider=spider()
    
47.     netPage=mySpider.changePage(url, 1000)
    
48.     for each in netPage:
    
49.         print('正在处理：'+each)
    
50.         html=mySpider.getSource(each)
    
51.         oppo=mySpider.getmyideaInfo(html)
    
52.         for i in oppo:
    
53.             info=mySpider.getinfo(i)
    
54.             classInfo.append(info)
    
55.         mySpider.saveinfo(classInfo)

复制代码

{:8_205:}

楼主，请问得到的infotieba.txt  乱码怎么解决？

把这句改一下就行啦，f.writelines('主题'+''.join(each['主题']).encode('utf-8')+'\n')

我已经把上面的代码改过了你试一下

楼主，你好，我现在出现的问题是只要是re.findall里有中文的，都无法查找到，我用的是windows系统，请问有什么解决方法吗~