python 抓取页面数据返回 “请打开浏览器的javascript，然后刷新浏览器 ”

之前用的python抓取页面数据用的是：

1 url = "http://xxxxxx"
2 res_text = json.loads(urllib2.urlopen(urllib2.Request(server_url_text)).read())
3 print('res_text')

后来再调用 看页面返回的是 “请打开浏览器的javascript，然后刷新浏览器 ”，查看后是加了cookie，cookie加进去后，返回正常

url = "http://xxxxxx"
headers = {'User-Agent': xxx", 'Cookie':xxx",}
res_text = json.loads(urllib2.urlopen(urllib2.Request(server_url_text,headers=headers)).read())
print('res_text')

但是 cookie经常变，于是换了种方式，使用webdriver获取页面数据

1 from selenium import webdriver
 2 import time,json
 3 
 4 driver = webdriver.Chrome()
 5 driver.get('xxxx')
 6 time.sleep(7)
 7 res = driver.find_element_by_xpath('xxxxxx')
 8 s = json.loads(res.text)
 9 driver.close()
10 
11 print(s,type(s))

注意：如上方法使用的是谷歌浏览器，需要提前安装 谷歌浏览器和对应的驱动  chromedriver；也可使用其他浏览器