0

点赞

收藏

分享

Spark交互式工具spark-shell

李雨喵 2022-06-20 阅读 123

标签: spark 数据 hdfs 虚拟化云计算

REPL

Spark交互式工具spark-shell_数据

Spark REPL

Spark交互式工具spark-shell_数据_02

Spark shell

Spark交互式工具spark-shell_spark_03

下面我们启动一下（我这里搭建的是3节点集群）

Spark交互式工具spark-shell_spark_04

Spark交互式工具spark-shell_hdfs_05

Spark交互式工具spark-shell_spark_06

Spark交互式工具spark-shell_数据_07

Spark交互式工具spark-shell_spark_08

Spark交互式工具spark-shell_数据_09

Spark交互式工具spark-shell_spark_10

sc.后面按TAB键可以把提示调出来

Spark交互式工具spark-shell_hdfs_11

查看hdfs上文件内容

Spark交互式工具spark-shell_hdfs_12

Spark交互式工具spark-shell_hdfs_13

Spark交互式工具spark-shell_数据_14

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

Spark交互式工具spark-shell_spark_15

试下读下里面的数据

Spark交互式工具spark-shell_数据_16

这个可以求出有多少行

Spark交互式工具spark-shell_hdfs_17

Spark交互式工具spark-shell_spark_18

0 条评论

关注