0
点赞
收藏
分享

微信扫一扫

Spark交互式工具spark-shell

李雨喵 06-20 09:28 阅读 6

REPL

Spark交互式工具spark-shell_数据

Spark REPL

 

Spark交互式工具spark-shell_数据_02

 

Spark shell

Spark交互式工具spark-shell_spark_03

 

 

 

下面我们启动一下(我这里搭建的是3节点集群)

Spark交互式工具spark-shell_spark_04

 

 Spark交互式工具spark-shell_hdfs_05

Spark交互式工具spark-shell_spark_06

 Spark交互式工具spark-shell_数据_07

Spark交互式工具spark-shell_spark_08

 

 Spark交互式工具spark-shell_数据_09

Spark交互式工具spark-shell_spark_10

 

sc.后面按TAB键可以把提示调出来

Spark交互式工具spark-shell_hdfs_11

 

 

查看hdfs上文件内容

Spark交互式工具spark-shell_hdfs_12

Spark交互式工具spark-shell_hdfs_13

Spark交互式工具spark-shell_数据_14

 

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

Spark交互式工具spark-shell_spark_15

 

 

 试下读下里面的数据

Spark交互式工具spark-shell_数据_16

 

 

这个可以求出有多少行

 Spark交互式工具spark-shell_hdfs_17

Spark交互式工具spark-shell_spark_18

 

举报

相关推荐

0 条评论