一位爱好文学的资深程序开发工程师。热爱工作又极度顾家的有为社会青年。<br><br>带货 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fasktug.com%2F" target="_blank">https://asktug.com/</a>
发简信
IP属地：新疆
-
-
上面的文字里面有一段， 你看下哈
“可以看到 AM端的 初始UserGroupInformation是不带要tgt的， 也就是说，没办法进行kerberos认证流程，AM端不管是与yarn还是 hdfs的通讯都应该是使用Token的。在图片中Token列表中，我们看到出现了一个 名字叫 YARN_AM_RM_TOKEN ，这个并不是我们Client加进去的，但是可以确信的是AM使用该token与RM进行通讯，这个token哪里来的呢？
带着这个疑问，我们需要从Client开始扒拉一下代码了，在client端我们使用 YarnClient 将我们的启动的信息提交给了RM，这个YarnClient是经过kerberos认证的连接，那么我们可以看下RM端是怎么来处理这个 启动ApplicationMaster请求的。我们提交给RM的是一个名叫ApplicationSubmissionContext, RM要从中创建出”kerberos体系下的应用(yarn,spark on yarn)
kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂 Kerberos实际上一个基于Ticket的认证方式。Client...
-
@Jacky胡家发 是的，下载到本地 然后使用本地的 cache keytab文件 进行认真。这个一套 资源机制是 hadoop-yarn的 机制。 yarn-client 将资源上传到共享存储中(这里是hdfs)，然后yarn的 RM 找到一台NM 启动该任务的AM的时候，会把资源的相应位置告诉AM，AM在启动的时候会有 resouce download的操作。有兴趣的话可以 流量一下 hadoop-yarn 的逻辑
kerberos体系下的应用(yarn,spark on yarn)
kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂 Kerberos实际上一个基于Ticket的认证方式。Client...
-
Apache sentry架构分析-(与hive、hdfs集成)Why was I born with such contemporaries. -- 王尔德Just For M 前言 Apache Sentry是Cloudera公...
-
HiveServer2-HA-安全架构赴海獨漂櫓，白首度餘生。 -- 木心Just For M 前言 为了梳理 apache sentry_1.5.0 开启 hdfs sync 功能后 不再支持hs2的Me...
-
jdk1.8-ForkJoin框架剖析Selfishness is not living as one wishes to live, it is asking others to live as one wis...
-
Spark-sql[1]-antrl4的入门以及在spark中的实现we are all in the gutter,but some of us are looking at the stars. --王尔德Just For M 为了更方便...
-
kerberos体系下的应用(yarn,spark on yarn)kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂 Kerberos实际上一个基于Ticket的认证方式。Client...
-
