pySpark 运行时出现 Permission denied: (权限问题)
我们在本地测试pyspark代码,远程连接服务器上的HDFS时可能会出现权限问题。
有两种解决方法:
1. 更改DHFS中 hive-warehouse 目录的权限 改为 777
如: hdfs dfs -chomd 777 /user/hive/warehouse
(不推荐,这种方法会造成安全风险)
2. 在代码中设置运行时的user为root( 对hive-warehouse具有写入权限的用户 )
微信扫一扫
我们在本地测试pyspark代码,远程连接服务器上的HDFS时可能会出现权限问题。
有两种解决方法:
1. 更改DHFS中 hive-warehouse 目录的权限 改为 777
如: hdfs dfs -chomd 777 /user/hive/warehouse
(不推荐,这种方法会造成安全风险)
2. 在代码中设置运行时的user为root( 对hive-warehouse具有写入权限的用户 )
相关推荐