爬虫 爬ooxx图 嘿嘿

闲话不多说  直接撸代码

1. 
   
2. import urllib.request
   
3. import urllib.error
   
4. import os
   
5. import sys
   
6. import http.server
   
7. import http.client
   
8. import time
   
9. import re
   
10. import random
    
11. import math
    
12. 
    
13. data = None
    
14. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36'}
    
15. enctype = 'utf-8'
    
16. proxies = []
    
17. max_error_times = 5        #最多允许失败5次，否则放弃该图片下载
    
18. 
    
19. def create_localhost():
    
20.     number = int((math.sqrt(5)-1)/2) * len(proxies)
    
21.     for x in range(number):
    
22.         proxies.append(None)
    
23. 
    
24. def get_result(req_or_url,is_retrieve=False,filename = None):         #flag是否使用retrieve
    
25.     error_time = 0
    
26.     while True:
    
27.         try:
    
28.             if error_time == max_error_times:
    
29.                 print('失败次数达%d次......放弃操作' % max_error_times)
    
30.                 return None
    
31.             error_time += 1
    
32.             if is_retrieve:
    
33.                 return urllib.request.urlretrieve(req_or_url,filename)
    
34.             else:
    
35.                 return urllib.request.urlopen(req_or_url)
    
36.         except urllib.error.URLError as e:
    
37.             if hasattr(e,'code'):
    
38.                 print(e.code,e.reason)
    
39.                 change_proxy()
    
40.                 continue
    
41.             elif hasattr(e,'reason'):
    
42.                 print(e)
    
43.                 change_proxy()
    
44.                 continue
    
45.         except (ConnectionResetError,http.client.BadStatusLine) as e:
    
46.             print(e)
    
47.             change_proxy()
    
48.             continue
    
49.         except TimeoutError as e:
    
50.             print(e)
    
51.             print('服务器长时间无响应，自动切换代理.....')
    
52.             change_proxy()
    
53.             continue
    
54. 
    
55. def get_proxy():
    
56.     global data,headers,proxies
    
57.     req = urllib.request.Request('http://www.xici.net.co',None,headers)
    
58.     response = get_result(req)
    
59.     html = response.read().decode('utf-8')
    
60.     p = re.compile(r'''<tr\sclass[^>]*>\s+
    
61.                                     <td>.+</td>\s+
    
62.                                     <td>(.*)?</td>\s+
    
63.                                     <td>(.*)?</td>\s+
    
64.                                     <td>(.*)?</td>\s+
    
65.                                     <td>(.*)?</td>\s+
    
66.                                     <td>(.*)?</td>\s+
    
67.                                     <td>(.*)?</td>\s+
    
68.                                 </tr>''',re.VERBOSE)
    
69.     proxy_list = p.findall(html)
    
70.     for each_proxy in proxy_list[1:]:
    
71.         if each_proxy[4] == 'HTTP':
    
72.             proxies.append(each_proxy[0]+':'+each_proxy[1])
    
73. 
    
74. def change_proxy():
    
75.     proxy = random.choice(proxies)
    
76.     if proxy == None:
    
77.         proxy_support = proxy_support = urllib.request.ProxyHandler({})
    
78.     else:
    
79.         proxy_support = urllib.request.ProxyHandler({'http':proxy})
    
80.     opener = urllib.request.build_opener(proxy_support)
    
81.     opener.addheaders = [('User-Agent',headers['User-Agent'])]
    
82.     urllib.request.install_opener(opener)
    
83.     print('智能切换代理：%s' % ('本机' if proxy==None else proxy))
    
84. 
    
85. def get_page():         #获取最大页数
    
86.     home = 'http://jandan.net/ooxx'
    
87.     global data,headers,enctype
    
88.     req = urllib.request.Request(home,data,headers)
    
89.     response = get_result(req)
    
90.     html = response.read().decode(enctype)
    
91.     find_string = 'current-comment-page'
    
92.     find_start = html.index(find_string) + len(find_string) + 3
    
93.     find_end = html.index(']',find_start+1)
    
94.     return int(html[find_start:find_end])
    
95. test = None
    
96. def get_pic(page):      #生成器，返回一个图片链接
    
97.     global data,headers,enctype
    
98.     while True:
    
99.         url = 'http://jandan.net/ooxx/page-%d' % page
    
100.         print('当前页面：%d' % page)
     
101.         req = urllib.request.Request(url,data,headers)
     
102.         response = get_result(req)
     
103.         if response == None:
     
104.             print('获取页面失败.....')
     
105.             sys.exit()
     
106.         html = response.read().decode(enctype)
     
107.         pic = re.compile(r'<img\s+src="(http://.+?\.(?:jpg|jpeg|gif))"')
     
108.         for pic in pic.finditer(html):
     
109.             yield pic.group(1)
     
110.         time.sleep(5)
     
111.         page -= 1
     
112.         if page<1:
     
113.             break
     
114. 
     
115. save_path = 'D:\\图片\\妹子图'
     
116. 
     
117. def download():
     
118.     count = 1
     
119.     global data,headers
     
120.     for pic_url in get_pic(get_page()):         #get_page()改为页数如1000可从1000页开始下载
     
121.         file_name = os.path.split(pic_url)[1]
     
122.         if not os.path.isdir(save_path):    #目录不存在就创建
     
123.             os.makedirs(save_path)
     
124.         get_result(pic_url,True,save_path+'\\'+file_name)
     
125.         print('本次成功下载第%d个图片! %s' % (count , pic_url))
     
126.         count += 1
     
127. 
     
128. if __name__ == '__main__':
     
129.     get_proxy()
     
130.     create_localhost()
     
131.     download()
     
132. 
     

复制代码

确切说是妹子图

不错啊    1024 不知道能不能用

1024  现在的图都带水印的   下载下来也就那么回事  只能自己看

有错误

这个是python3的吧

<p><img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)" /><span class="img-hash">2d930yhbY6YXJ9lDRVX2iNdSOVIJ7a6mT+HlzrGyezKGj9ynLN0fnwlkIQ8ucsrjovOmZngkUtAne+/VApZrWiqHwiWGLO5V9HWEfR1oK/u7W0eFI3ObVw</span></p>

人家网站改了现在需要根据img-hash计算出正真的图片地址了，不知道怎么解啊

直接这个网站  
http://www.mzitu.com

真的很厉害。

运行没有报错，但在设定的图片存储位置没有发现图片