Python论坛 - 国内最好的Python中文社区

标题: 简单的淘女郎抓取例子 [打印本页]

---

作者: duocool    时间: 2016-12-30 17:10
标题: 简单的淘女郎抓取例子


python刚刚在学，爬虫也是刚刚在学，最好的学习就是边学边练。前两天看到论坛里有哥们弄了个淘女郎爬虫，写得很复杂，弄了个类啥的，不过好像下载图片遇到点麻烦，今天却再也找不到这个贴子了。

献丑把自己练习的脚本贴出来，发现只一句匹配的正则表达式比较有用。

python 3.5环境：

结果发现有个小问题，有些明明很小的图，大小却超过了5M，打开也是正常的

(, 下载次数: 123)

上传

点击文件名下载附件

1. from urllib.request import urlopen
   
2. from urllib.request import urlretrieve
   
3. from bs4 import  BeautifulSoup
   
4. import re
   
5. import time
   
6. 
   
7. html= urlopen("https://mm.taobao.com/self/aiShow.htm?spm=719.7763510.1998643336.1.fpUCYD&userId=2859309431")
   
8. bsobj = BeautifulSoup(html.read())
   
9. 
   
10. img = bsobj.findAll("img",{"src":re.compile("[]*img\.alicdn\.com\/imgextra[]*0-tstar\.jpg")})
    
11. num=1
    
12. print(img[0]["src"])
    
13. for child in img:
    
14.     imgurl="https:"+child["src"]
    
15.     if num<10:
    
16.         picnum="P00"+str(num)
    
17.     elif num<100:
    
18.         picnum="P0"+str(num)
    
19.     else:
    
20.         picnum="P"+str(num)
    
21.     urlretrieve(imgurl,"H:\\tbmm\"+picnum+".jpg")
    
22.     time.sleep(0.3)
    
23.     num=num+1
    

复制代码

---

欢迎光临 Python论坛 - 国内最好的Python中文社区 (https://bbs.pythontab.com/)

Powered by Discuz! X3.4