selenium最简单使用—完美解决爬取js动态加载的源码

问题背景

有些网站是将数据存储到后台数据库的，用户访问网页时，会用js代码动态加载后台数据库里的内容到网页源码里。这时如果只是用​​requests.get​​是拿不到这些动态数据。为了拿到这些动态数据，可以用selenium这个python模块解决。selenium可以实现网页的模拟获取和模拟点击，从而拿到动态数据。

配置环境

安装python包

pip install selenium

下载chrome驱动

https://chromedriver.chromium.org/downloads

代码demo

以模拟在百度里搜索hello为例

from selenium import webdriver
from selenium.webdriver.common.by import By

url = "http://www.baidu.com"
browser = webdriver.Chrome('chromedriver')
browser.get(url)
browser.find_element(By.ID, 'kw').send_keys("hello")
browser.find_element(By.ID, 'su').click()
browser.page_source

ip代理

https://www.zdaye.com/beijing_ip.html
https://www.kuaidaili.com/dps