Yarn源码分析3-NodeManager剖析1
Yarn源码分析3-NodeManager剖析1《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记。 (Yarn源码基于Hadoop 3.0.0)
Yarn源码小组讨论班2018-01-26
NM是单个计算节点的管理服务，它的主要功能包括：
与RM保持通信
管理Containe
...
Yarn源码分析2-ResourceManager剖析1
Yarn源码分析2-ResourceManager剖析1《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记。 (Yarn源码基于Hadoop 3.X)
Yarn源码小组讨论班2018-01-17
ResourceManager(RM)是整个YARN集群的大脑
它的设计直接决
...
Yarn源码分析1-设计理念与基本架构
Yarn源码分析1-设计理念与基本架构《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记
Yarn源码小组讨论班2018-01-12
本文内容属于《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记, 外加一些个人的思考。
1 YARN产生背景最早的hadoop是由
...
Flink on YARN源码分析(基于1.4版本)
Posted on
|
In
Flink
Flink on YARN源码分析(基于1.4版本)
liyakun.hit2017-12-14
1. 从命令行开始在Flink上面提交任务需要使用下面的命令：flink_deploy/deploy/flink-dev/bin/flink run -d -c
...
log4j源码分析(基于1.2.17版本)
Posted on
|
In
log4j
log4j源码分析(版本1.2.17)
liyakun.hit2017-12-04
1. Log4j使用方式1.1 引入jar包在pom文件中添加如下依赖： log4j log4j 1.2.17
1.2 代码集成在源码中集成Log4j的使用示例如下：
123456789import
...
从一个小程序看 spark core 源码
Posted on
|
In
spark
从一个小程序看 spark core 源码2017-8-29liyakun
从一个小程序的运行入手，看一下整个spark core 底层的流程。
1. 小程序-GroupByTest这是一个使用Spark进行GroupBy的小程序。
程序属于Spark使用代码示例中的一个，在Spark中的源码的位置
...