博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 多租户管理
阅读量:5930 次
发布时间:2019-06-19

本文共 768 字,大约阅读时间需要 2 分钟。

  hot3.png

一个hadoop集群上面能有多个用户,每个用户往自己的存储空间存入数据,调用分配的资源进行分布式存储和分布式计算,而互不影响,这难道不是一件很美妙的事情么?

 

1:  添加新的linux用户   useradd hadoopacl1

2: 给hadoopacl1用户分配hdfs存储空间

hadoop fs -mkdir /hadoopacl1

hadoop fs -chown -R hadoopacl1:hadoopacl1 /hadoopacl1

3:配置用户的 hadoopacl1的用户变量

vi .bashrc

4: 尝试使用 hadoopacl1 用户上传文件

大概是新用户没有往MR日志文件写入的权限 

赋予hadoopacl1写入的权限 。

这样的操作并不合理,多个用户的日志混写到一个文件无法区分,应该可以配置用户将MR日志写入到各自的日志文件当中的。

5:尝试跑MapReduce程序。

 

执行成功!!!

6:给用户分配资源    (hadoop公平调度器)

 

yarn的元数据和历史执行的数据存放在指定的目录里面,这个目录应该赋予普通用户写入的权限的,否则MR程序无法执行。

看了一眼执行的日志 ,应该是往各自的目录写了一些运行时的临时文件 

 

也许应该给新用户复制一份bin目录和etc目录,从而在独自的etc目录下实现个性化的配置。当然所有的用户共享相同的目录是最简单的做法了。

 

公平调度器配置

 

 

 

修改配置文件后可以进行刷新操作

yarn rmadmin -refreshQueues

 

https://yq.aliyun.com/articles/4697

http://www.thebigdata.cn/Hadoop/30762.html

 

 

 

转载于:https://my.oschina.net/qidis/blog/1553839

你可能感兴趣的文章
SFB 项目经验-69-如何预防勒索病毒【生产环境90%服务器中勒索病毒】(欢迎大家补充)...
查看>>
visual studio中javascript脚本智能感应
查看>>
JQuery过滤筛选select第一个和最后一个option
查看>>
java中abstract
查看>>
TCP-IP协议详解(8) TCP协议与流通信
查看>>
Java程序员从笨鸟到菜鸟之(十九)EL表达式和JSTL
查看>>
Loadrunner11无法打开浏览器问题
查看>>
复习PHP-语言参考-流程控制
查看>>
站长们:卢松松还在用的自媒体平台,你知道吗
查看>>
from __future__ import with_statement
查看>>
我的友情链接
查看>>
Activity
查看>>
Xdebug工作原理
查看>>
Linux SSH远程文件/目录传输命令scp
查看>>
不宠无惊过一生
查看>>
《解决微信内置浏览器返回上一页强制刷新问题方法》
查看>>
我的友情链接
查看>>
SpringMVC常见错误处理
查看>>
逻辑卷lvm 和btrs文件系统介绍
查看>>
iOS UITableView相关
查看>>