0
点赞
收藏
分享

微信扫一扫

Python Selenium 获取页面所有文本内容


分享知识  传递快乐

用 Selenium 爬虫获取网页上显示的文本,首先安装 lxml 模块:

pip install lxml

代码:

driver = webdriver.Chrome()
driver.maximize_window()
driver.get("url")

# 获取页面源代码
html_source = driver.page_source
# 重点
html = lxml.html.fromstring(html_source)
# 获取标签下所有文本
items = html.xpath("//div[@id='y_prodsingle']//text()")
# 正则 匹配以下内容 \s+ 首空格 \s+$ 尾空格 \n 换行
pattern = re.compile("^\s+|\s+$|\n")

clause_text = ""
for item in items:
# 将匹配到的内容用空替换,即去除匹配的内容,只留下文本
line = re.sub(pattern, "", item)
if len(line) > 0:
clause_text += line + "\n"
#
#
print(clause_text)

参考:

​​Python lxml 从网页HTML/XML提取数据​​

如果您另有获取页面文本的方法请留言。

—————————
如有不足请留言指正
相互学习,共同进步

举报

相关推荐

0 条评论