|
|
Python + Selenium +Chrome 批量下载网页代码修改
主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt
来达到在登陆状态下 批量打开并下载网页，以网页ID来保存为网页文件名
# 导入 webdriver
from selenium import webdriver
# 读取本地文件中的URL链接
address = './url.txt'
fp = open(address, 'r')
lines = fp.readlines()
print('【URL链接】:%s', lines)
# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
# driver = webdriver.PhantomJS()
driver = webdriver.Chrome()
# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
for data in lines:
# get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)
driver.get(data)
# 向下滚动10000像素
js = "document.body.scrollTop=10000"
# js="var q=document.documentElement.scrollTop=10000"
# 执行JS语句
driver.execute_script(js)
# 查看页面快照
# driver.save_screenshot("csdn.png")
print('执行中。。。')
# 关闭浏览器
driver.quit()
print('执行结束。。。')
# 关闭文件流
fp.close()
|
|
