目录
01【es数据同步至mysql】
1.1【在es中插入数据后能够同步到mysql中】
input {
elasticsearch {
hosts => ["hadoop100:9200"]
index => "test_user_info"
query => '{ "query": { "match_all": {} } }'
schedule => "* * * * *"
}
}
output {
jdbc {
driver_jar_path => "/opt/jar/mysql-connector-java-8.0.21.jar"
driver_class => "com.mysql.cj.jdbc.Driver"
connection_string => "jdbc:mysql://hadoop100:3306/newsManagerEs?useSSL=true&useUnicode=true&characterEncoding=utf8&serverTimezone=GMT&user=root&password=123456"
statement => ["INSERT INTO user_info (user_id, user_name, user_pwd, create_time, update_time, status) VALUES (?, ?, ?, STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), ?)", "[user_id]", "[user_name]", "[user_pwd]", "[create_time]", "[update_time]", "[status]"]
}
}
1.2【修改与删除es中的数据】
02【nifi】
nifi任务:支持什么端到什么端(ftp\mysql\hadoop\spark),跑几个小demo。
2.1【Nifi的单机及分布式集群部署】
2.2【nifi集群,getFile简单使用nifi】
2.3【nifi使用案例】
nifi任务:支持什么端到什么端(ftp\mysql\hadoop\spark),跑几个小demo。
- 案例1:实现同步文件到hdfs
- 案例2:离线同步mysql数据到hdfs
- 案例3:实时监控kafka数据到hdfs