|
这怎么叫神奇呢......你看网站右上角,这网站有三种语言(中文,英文,德语)。基本爬取可以看出默认应该是英文。
通过观察你可以发现cookie长这个样子{'C5SessionID': 'b1h4jpsp19go2iaklpls4b4mm0', 'C5Lang': 'en'},C5Lang就是设置语言的,en是英文,你把它改成zh就好了。
源码如下:
import requests
from bs4 import BeautifulSoup
agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
headers ={'User-Agent': agent}
url = 'https://www.c5game.com/dota/item.html?item_id=74290231&type=S'
cookies={'C5SessionID': 'b1h4jpsp19go2iaklpls4b4mm0', 'C5Lang': 'zh'}
session = requests.session()
newhtml=session.post(url,cookies=cookies).text
soup=BeautifulSoup(newhtml)
print soup.find("div", {"class": "name"}).text |
|