Apache Doris 源码分析3 - AST的语义分析 Posted on 2022-07-10 | In doris 1234Apache Doris 源码分析3 - AST的语义分析-- yakun-- 2022-07-10 20:50:43-- Apache Doris 源码基于 branch-0.15, commit: a1d1bd8965c3b97f2c4eaf4fd8405efd3b35368a 上回分 ... Read more »
Apache Doris 源码分析2 - 词法分析和语法分析 Posted on 2022-02-08 | In doris 1234Apache Doris 源码分析2 - 词法分析和语法分析-- yakun-- 2022-02-08 21:59:45-- Apache Doris 源码基于 branch-0.15, commit: a1d1bd8965c3b97f2c4eaf4fd8405efd3b35368a 上回 ... Read more »
Apache Doris 源码分析1 - 从进程启动到接收处理SQL Posted on 2022-02-08 | In doris 1234Apache Doris 源码分析1 - 从进程启动到接收处理SQL-- yakun-- 2022-02-08 19:56:56-- Doris 源码基于 branch-0.15, commit: a1d1bd8965c3b97f2c4eaf4fd8405efd3b35368a doris ... Read more »
Hadoop Meetup分享--YARN关键定制@ByteDance Posted on 2019-08-11 | In 分享 国内首次hadoop meetup于2019-08-10日在北京举行, 吸引了大量互联网公司参加, 一些业内同学专门从深圳/上海/杭州飞来, 线上观看直播的更是达到了2000多人, 盛况空前. 参加这次会议除了可以一睹junping, wangda真身之外, 还能从会上学到满满的 ... Read more »
Big-Data-A-Survey 论文阅读分享 Posted on 2018-09-05 | In bigdata 《Big Data: A Survey》论文阅读分享2018-08-18liyakun.hit 论文信息:Mobile Networks and Applications,April 2014, Volume 19, Issue 2, pp 171–209 概述 大数据技术所处位置:与云计算、IOT ... Read more »
Yarn源码分析6-Reserve机制 Posted on 2018-07-17 | In hadoop , yarn Yarn源码分析6-Reserve机制《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记。 (Yarn源码基于Hadoop 3.1.0) 2018-07-17 前面的源码分析中[Yarn源码分析5-资源调度]讲述了整个调度的主干流程,但是很多分支并没有介绍,比如抢占机制、预约(r ... Read more »
Yarn源码分析5-资源调度 Posted on 2018-06-26 | In hadoop , yarn Yarn源码分析5-资源调度《Hadoop技术内幕-深入解析YARN架构设计与实现原理》学习笔记。 (Yarn源码基于Hadoop 3.0.0) Yarn源码小组讨论班2018-06-26 1. 基本架构资源调度器是最核心的组件之一,并且在yarn中是可插拔的,yarn中定义了一套接口规范,以方便 ... Read more »
序列化与压缩 Posted on 2018-04-12 | In 存储 序列化与压缩 Hadoop生态学习小组-liyakun.hit2018-04-12 写这篇文章的原因是,很多人搞不清楚序列化、压缩、列式存储都是什么概念。所以,补一篇文章来科普一下,这样整体的概念更多一些,能了解各项技术所处的位置。 1. 序列化1.1 RPC如果不同进程之间想交换内存中的数据,需要 ... Read more »
Parquet原理 Posted on 2018-04-08 | In 存储 Parquet原理 Hadoop生态学习小组2018-04-08 在互联网大数据应用场景下,通常数据量很大且字段很多, 但每次查询数据只针对其中的少数几个字段,这时候列式存储是极佳的选择。 列式存储要解决的问题: 把IO只给查询需要用到的数据 只加载需要被计算的列 空间节省 列式的压缩效果更好 ... Read more »
Yarn源码分析4-资源调度算法 Posted on 2018-02-24 | In hadoop , yarn Yarn源码分析4-资源调度算法 liyakun.hit2018-02-24 当有多个用户需要请求资源时,如果调度器的资源能满足所有请求,那么直接都给他们安排即可,可是,如果资源无法满足所有用户,那么就需要考虑一下资源如何分配是合理的。 1 最大最小公平算法(Max-Min Fairness)首先 ... Read more »