Elasticsearch ILM 索引生命周期管理讲解与实战

目录

• 1.抓包工具查看网站信息
• 2.代码实现
• 3.运行结果

1.抓包工具查看网站信息

请求路径

url:https://movie.douban.com/typerank

请求参数

页面往下拉，出现新的请求结果，参数start更新，每次刷新出20条新的电影数据

2.代码实现

# 使用网络爬虫，爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求，获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果