目录
1.爬虫概念
通过一个程序，根据Url(http://www.taobao.com)进行爬取网页，获取有用信息。
使用程序模拟浏览器，去向服务器发送请求，获取响应信息。
2.爬虫核心
爬取网页：爬取整个网页 包含了网页中所有得内容 2.
解析数据：将网页中你得到的数据 进行解析 3.
难点：爬虫和反爬虫之间的博弈
3.爬虫分类
4.反爬手段
（1）User‐Agent
User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版 本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件
（2）代理IP
西次代理 快代理 什么是高匿名、匿名和透明代理？它们有什么区别？ 1.使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。 2.使用匿名代理，对方服务器可以知道你使用了代理，但不知道你的真实IP。 3.使用高匿名代理，对方服务器不知道你使用了代理，更不知道你的真实IP。
（3）验证码访问
打码平台 云打码平台 超级🦅
（4）动态加载网页
网站返回的是js数据 并不是网页的真实数据 selenium驱动真实的浏览器发送请求
（5）数据加密
分析js代码
