0
点赞
收藏
分享

微信扫一扫

sqoop数据导入导出常用功能

野见 2022-12-07 阅读 92



//导入到HDFS中
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/user'
//导入到HIVE中,添加where条件
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --hive table users --where 'username=linfenliang'
//导入到Hive中,添加select语句
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --columns 'username,address' -m 1 --target-dir '/sqoop/user_select' --hive table users --query 'select username,password from user where username = linfenliang and $conditions'
//导出Hive数据到MySQL中

./sqoop emport --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 -m 1 --table mysql_table --export-dir '/sqoop/user'

应用:




一般我们会先把数据从数据库中导入到数据仓库中,如HDFS或HIVE中,

然后借助HIVE进行数据分析与处理,


数据分析处理完成后,将结果写入到MySQL中即可

举报

相关推荐

0 条评论