淘宝爬取内容求助

1. from selenium import webdriver
   
2. from selenium.common.excepti** import TimeoutException
   
3. from selenium.webdriver.common.by import By
   
4. from selenium.webdriver.support import expected_conditi** as EC
   
5. from selenium.webdriver.support.wait import WebDriverWait
   
6. from pyquery import PyQuery as pq
   
7. from pymongo import MongoClient
   
8. 
   
9. #创建mogodb数据对象
   
10. client=MongoClient()
    
11. db=client['taobao']
    
12. collection=db['taobao']
    
13. 
    
14. browser=webdriver.Chrome()
    
15. wait=WebDriverWait(browser,10)
    
16. max_page=100
    
17. 
    
18. def index_page():
    
19.     try:
    
20.         browser.get('https://www.taobao.com')
    
21.         input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#q')))
    
22.         submit = wait.until(
    
23.             EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
    
24.         input.send_keys('ipad')
    
25.         submit.click()
    
26.         print('正在爬取第', page, '页')
    
27.         get_products()
    
28.         num = browser.find_element_by_link_text('下一页')
    
29.         num.click()
    
30.     except TimeoutException:
    
31.         print('time out!')
    
32.         return index_page()
    
33. 
    
34. # 提取商品数据
    
35. def get_products():
    
36.     wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'mainsrp-itemlist.items.item')))
    
37.     html=browser.page_source
    
38.     doc=pq(html)
    
39.     items=doc('#mainsrp-itemlist.items.item').items()
    
40.     for item in items:
    
41.         product={
    
42.             'image': item.find('.pic a img').attr('data-src'),
    
43.             'price': item.find('.price').text(),
    
44.             'deal': item.finc('.deal-cnt').text(),
    
45.             'title': item.find('.title').text(),
    
46.             'shop': item.find('.shop').text(),
    
47.             'location': item.find('.location').text()
    
48.         }
    
49.         print(product)
    
50.         save_to_mogo(product)
    
51. 
    
52. #保存到mogodb
    
53. def save_to_mogo(result):
    
54.     try:
    
55.         if collection.insert(result):
    
56.             print('保存成功',result)
    
57.     except Exception:
    
58.         print('保存失败',result)
    
59. 
    
60. if __name__=='__main__':
    
61.     for page in range(2, max_page + 1):
    
62.         index_page(page)

复制代码

自己想爬取淘宝上有关“ipad"商品的信息，这是自己根据别人的代码修改的，但是自己修改后，为何总是显示time out呢，求助。