爬取网页图片，但无法定位图片源地址

代码如下：

1. import requests,os,bs4,re
   
2. os.makedirs('comic',exist_ok=True)
   
3. url='https://www.mangabz.com/m219696/'
   
4. res=requests.get(url)
   
5. soup=bs4.BeautifulSoup(res.text,'html.parser')
   
6. message=soup.select('.bottom-page2')
   
7. numRegex=re.compile(r'(-)(\d{2})')
   
8. pages=numRegex.search(str(message))
   
9. pages=int(pages.group(2))
   
10. for i in range(1,pages+1):
    
11.         urls=url+'#ipg'+str(i)
    
12.         res=requests.get(urls)
    
13.         soup=bs4.BeautifulSoup(res.text,'html.parser')
    
14.         img_message=soup.select('body[class style="padding-top: 74px;"] div')
    
15.         print(img_message)
    
16.         img_url=img_message.get('src')
    
17.         print('Downloading...%s'%(img_url))
    
18.         res=requests.get(img_url)
    
19.         re.raise_for_status()
    
20.         imgFile=open(str(i),'wb')
    
21.         for chunk in res.iter_content(10000):
    
22.                 imgFile.write(chunk)
    
23.         imgFile.close()
    
24. print('Done')

复制代码

直接找最近的那个id标签
select('#imgloading img')

qz1zxwzy 发表于 2022-3-23 16:22
直接找最近的那个id标签
select('#imgloading img')

同理....

qz1zxwzy 发表于 2022-3-23 16:22
直接找最近的那个id标签
select('#imgloading img')

已经试过了，这样找不到。id='imgloading'不是img src=...的母标签，二者是并列的。

牛马星的牛马 发表于 2022-3-29 17:24
已经试过了，这样找不到。id='imgloading'不是img src=...的母标签，二者是并列的。 ...

如果不直接查找图片源地址

from requests_html import HTMLSession
url = 'https://www.mangabz.com/m219696/'
session = HTMLSession()
for url in [f'https://www.mangabz.com/m219696-p{page}' for page in range(1, 30)]:
    html = session.get(url).html
    html.render(sleep=0.5)
    src = html.find('#cp_image', first=True).attrs['src']
    headers = {'referer': url}
    resp**e = session.get(src,headers=headers, verify=False)
    with open(src.split('?')[0].split('/')[-1], 'wb') as fp:
        fp.write(resp**e.content)

网页是动态生成的，直接无法获取。你看网页源代码根本没得

from selenium import webdriver
import time
from lxml import etree

url = 'https://www.mangabz.com/m219696/'
browser = webdriver.Chrome()
time.sleep(3)
browser.get(url)
time.sleep(5)
html = browser.page_source
parer_html = etree.HTML(html)
message = parer_html.xpath('/html/body/div[2]/div/img/@src')[0]
print(message)
browser.quit()

1. from selenium import webdriver
   
2. import time
   
3. from lxml import etree
   
4. 
   
5. url = 'https://www.mangabz.com/m219696/'
   
6. browser = webdriver.Chrome()
   
7. time.sleep(3)
   
8. browser.get(url)
   
9. time.sleep(5)
   
10. html = browser.page_source
    
11. parer_html = etree.HTML(html)
    
12. message = parer_html.xpath('/html/body/div[2]/div/img/@src')[0]
    
13. print(message)
    
14. browser.quit()

复制代码