python爬取百度贴吧帖子,并写入txt文档

最近笔者在学习python,以python爬虫作为项目进行实践.
本篇主要学习于Python爬虫实战二之爬取百度贴吧帖子 | 静觅,主体思路大体相同.
爬取代码->正则提取关键信息->写入文件,三大步骤
但是笔者针对程序的的运行效率,编码处理,输入检验,做了适当更改,使得更好的面向客户.
欢迎各位读者大人提出意见和建议.

1. #encoding:utf-8
   
2. #v4版本较于v3需要进行数据检测
   
3. #是否是百度网页,是否输入1/0
   
4. import urllib2
   
5. import urllib
   
6. import sys
   
7. import re
   
8. #内容修正包,及url修正包
   
9. class Tool:
   
10.     #去除img标签,7位长空格
    
11.     removeImg=re.compile(r'<img.*?>| {7}')
    
12.     #去除超链接
    
13.     removehref=re.compile(r"<a href=.*?>|</a>")
    
14.     #换掉换行符\n
    
15.     replaceline=re.compile(r"<st>|<div>|</div>|</p>")
    
16.     #段落开头换回\n加空两个
    
17.     replacePara=re.compile(r"<p.*?>")
    
18.     #制表符<td>替换为\t
    
19.     replaceTD=re.compile(r"<td>")
    
20.     #换行符或双换行符替换为\n
    
21.     replaceBR=re.compile(r'<br><br>|<br>')
    
22.     #去其他标签
    
23.     removeExtraTag=re.compile('<.*?>')
    
24.     #去除URL中冗余信息
    
25.     removeURL=re.compile('\?.*')
    
26.     def replace(self,x):
    
27.         x=re.sub(self.removeImg,"",x)
    
28.         x=re.sub(self.removehref,"",x)
    
29.         x=re.sub(self.replaceline,"\n",x)
    
30.         x=re.sub(self.replaceBR,"\n    ",x)
    
31.         x=re.sub(self.replacePara,"\n    ",x)
    
32.         x=re.sub(self.replaceTD,"\t",x)
    
33.         x=re.sub(self.removeExtraTag,"",x)
    
34.         #strip()将前后多余内容删除
    
35.         return x.strip()
    
36. 
    
37.     def cheakURL(self,x):
    
38.         x=re.sub(self.removeURL,'',x)
    
39.         return x.strip()
    
40. 
    
41. #百度爬虫类
    
42. class Spider_Baidu:
    
43.     #初始参数
    
44.     def __init__(self,baseurl,see_lz=1,tag=1):
    
45.         self.tag=tag#是否要楼
    
46.         self.defualtname="百度贴子"#默认名称
    
47.         self.file=None#文件
    
48.         self.see_lz=see_lz#是否看楼主
    
49.         self.baseURL=baseurl
    
50.         self.tool=Tool()
    
51.         self.floor=1
    
52.     #获取源代码,返回源代码
    
53.     def getPage(self,index):
    
54.         url = self.tool.cheakURL(self.baseURL)+ "?see_lz=" + str(self.see_lz) + "&pn=" + str(index)
    
55.         request = urllib2.Request(url)
    
56.         try:
    
57.             response = urllib2.urlopen(request)
    
58.             pagecode = response.read().decode("utf-8")
    
59.             return pagecode
    
60.         except urllib2.URLError,e:
    
61.             print u"连接失败,失败原因为",e.reason
    
62.             return None
    
63.     #获取总页数,
    
64.     def getPageNum(self,pagecode=None):
    
65.         if not pagecode:pagecode=self.getPage(1)
    
66.         if not pagecode:return None#如果读取失败返回None
    
67.         pattern=re.compile(r'''<span class="red">(.*?)<''',re.S)
    
68.         pagenum=re.findall(pattern,pagecode)
    
69.         if pagenum:return pagenum[0]
    
70.         else:return None
    
71. 
    
72.     #获取帖子标题
    
73.     def getTitle(self,pagecode=None):
    
74.         if not pagecode:pagecode=self.getPage(1)
    
75.         if not pagecode:return None
    
76.         pattern = re.compile(r'''<h3 class="core_title_txt.*?>(.*?)</h3>''', re.S)
    
77.         headline = re.findall(pattern, pagecode)
    
78.         if headline:
    
79.             return headline[0]
    
80.         else:
    
81.             return None
    
82. 
    
83.     #获取正文内容
    
84.     def getContent(self,pagecode):
    
85.         pattern = re.compile(r'''<div id="post_content_.*?>(.*?)</div>''', re.S)
    
86.         items = re.findall(pattern, pagecode)
    
87.         content=[]
    
88.         for item in items:
    
89.             content.append("\n"+self.tool.replace(item)+"\n")
    
90.         if content:return content
    
91.         else:return None
    
92. 
    
93.     #打开文件
    
94.     def opentxt(self,title=None):
    
95.         if not title: title = self.getTitle()
    
96.         if title:self.file=open(title+".txt",'w+')
    
97.         else:self.file=open(self.defualtname+".txt",'w+')
    
98. 
    
99.     #写入文件,如果要设计写入是一个单纯的函数,那么应该将floor定义在函数之外
    
100.     def txtwrite(self,contends):
     
101.         # floor=1
     
102.         if self.tag:
     
103.             floorlLine = '\n' + str(self.floor)+'楼' + \
     
104.                          u"---------------" \
     
105.                          u"----------------" \
     
106.                          u"-----------------" \
     
107.                          u"--------------------" \
     
108.                          u"---------------------\n"
     
109.             self.floor+=1
     
110.             self.file.write(floorlLine)
     
111.         self.file.write(contends)
     
112.         return True
     
113. 
     
114.     #开始函数
     
115.     def start(self):
     
116.         indexpage=self.getPage(1)
     
117.         pageNum=self.getPageNum(indexpage)
     
118.         title=self.getTitle(indexpage)
     
119.         if pageNum == None:
     
120.             print "URL已失效，请重试"
     
121.             return None
     
122.         self.opentxt(title)
     
123.         try:
     
124.             print u"该帖子共" + pageNum + u"页"
     
125.             for i in range(1,int(pageNum)+1):
     
126.                 print u"正在写入第" + str(i) + u"页数据"
     
127.                 code=self.getPage(i)
     
128.                 content=self.getContent(code)
     
129.                 for item in content:
     
130.                     self.txtwrite(item)
     
131.             #出现写入异常
     
132.         except IOError,e:
     
133.             print u"写入异常"+e.message
     
134.         finally:
     
135.             print u"写入完成"
     
136. 
     
137. #输入数据类
     
138. class Inputdata:
     
139.     baseurl=None
     
140.     seezl=None
     
141.     floorTag=None
     
142.     baidu=re.compile(r"tieba.baidu.com/p")
     
143.     def datainput(self):
     
144.         print u"请输入帖子网址"
     
145.         self.baseurl =raw_input()
     
146.         while not re.search(self.baidu,self.baseurl):
     
147.             print u"非百度贴吧,请再次输入"
     
148.             self.baseurl = raw_input()
     
149.         self.seelz = raw_input(u"是否只获取楼主发言,是输入1,不是输入0\n")
     
150.         while self.seelz!="1" and self.seelz!="0":self.seelz = raw_input(u"请输入0或1\n")
     
151. 
     
152.         self.floorTag = raw_input(u"是否写入楼层信息，是输入1，否输入0\n")
     
153.         while self.floorTag!="1" and self.floorTag!="0":self.floorTag = raw_input(u"请输入0或1\n")
     
154. 
     
155. 
     
156. 
     
157. import sys
     
158. import time
     
159. reload(sys)
     
160. sys.setdefaultencoding('utf-8')#处理转码问题
     
161. data=Inputdata()
     
162. data.datainput()
     
163. print data.baseurl,data.seelz,data.floorTag
     
164. spider=Spider_Baidu(data.baseurl,data.seelz,data.floorTag)
     
165. start=time.clock()#计算爬取所用时间
     
166. spider.start()
     
167. end=time.clock()
     
168. print u"用时:%f s"%(end-start)
     
169. raw_input(u"按任意键退出")
     
170. exit(0)

复制代码

urllib2版本也太老了，建议用requests试试。