YOFOX.NET

dongxicheng.org

董的博客 » Hadoop-MR

http://dongxicheng.org/hadoop-internals-mapreduce

是一本深入剖析Hadoop MapReduce内部实现原理的 书籍，该书内容基于Hadoop 1.x版本，通过原理介绍与源代码分析相结合的方法解析Hadoop MapReduce计算框架。 2) Hadoop调度器 FIFO、Capacity Scheduler和FairScheduler 内部实现. 3) 数据计算引擎 Map Task、Reduce Task 内部实现. 5) 下一代MapReduce YARN/Corona/Mesos 原理和架构. 这本书中涉及的下一代MapReduce YARN/MRv2 内容比较少，如果你感兴趣，可暂时通过阅读我的博客中的文章学习YARN，链接是 董的博客. 可阅读已出版书籍 Hadoop Operations ). 如果你是Hadoop初学者，推荐阅读Hadoop入门级书籍 Hadoop权威指南 、 Hadoop实战 、 Hadoop Operation 等. 注意，不同网站上折扣不一样 上购买该书 你可通过我的新浪微博 董的博客. 作者 蔡斌 陈湘萍 已于2013年4月份出版，你同样可以在 当当. Frameworks (Spark) On YARN.

dongxicheng.org

董的博客 » hadoop源代码

http://dongxicheng.org/tag/hadoop源代码

第 1 页，共 1 页. Frameworks (Spark) On YARN. Frameworks (Spark) On YARN. WP Cumulus Flash tag cloud by Roy Tanck. C Primer plus 学习笔记之 RTTI. YARN/MRv2 Resource Manager深入剖析 NM管理. Voidbox: Docker on YARN在Hulu的实现. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. 小小叔: 董老师，请教下，我配置了hadoop2.6的fair 的调度器中. 菜鸟: 请问是不是这样，假如我的hdfs中存在三个目录/a /b /c. Codeflitting: 董老师 你好 我写了个简单地程序，时而跑的通时而跑不通，. Voidbox: Docker on YARN在Hulu的实现.

dongxicheng.org

董的博客 » 吊炸天：hadoop 2.7.0版本发布

http://dongxicheng.org/mapreduce-nextgen/hadoop-2-7-0-release

吊炸天 hadoop 2.7.0版本发布. Category: hadoop 2.0之YARN. 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http:/ dongxicheng.org/mapreduce-nextgen/hadoop-2-7-0-release/. 本博客的文章集合: http:/ dongxicheng.org/recommend/. 本博客微信公共账号 hadoop123 微信号为 hadoop-123 ，分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。 Hadoop 2.7.0已经发布，在这个版本中 ，包含几个非常重要的功能。 1 从这个版本开始，JDK必须是JDK 7 ，JDK 6以及更低版本不再支持. 2 hadoop 2.7.0是测试版本，不能在生产环境中使用。 1 允许用户设置每个job可同时运行的map task和reduce task数目。 作者介绍 http:/ dongxicheng.org/about/.

dongxicheng.org

董的博客 » Parquet

http://dongxicheng.org/tag/parquet

第 1 页，共 1 页. Frameworks (Spark) On YARN. Frameworks (Spark) On YARN. WP Cumulus Flash tag cloud by Roy Tanck. C Primer plus 学习笔记之 RTTI. YARN/MRv2 Resource Manager深入剖析 NM管理. Voidbox: Docker on YARN在Hulu的实现. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. 小小叔: 董老师，请教下，我配置了hadoop2.6的fair 的调度器中. 菜鸟: 请问是不是这样，假如我的hdfs中存在三个目录/a /b /c. Codeflitting: 董老师 你好 我写了个简单地程序，时而跑的通时而跑不通，. Voidbox: Docker on YARN在Hulu的实现.

dongxicheng.org

董的博客 » label

http://dongxicheng.org/tag/label

Hadoop YARN新特性 label based scheduling. 第 1 页，共 1 页. Frameworks (Spark) On YARN. Frameworks (Spark) On YARN. WP Cumulus Flash tag cloud by Roy Tanck. C Primer plus 学习笔记之 RTTI. YARN/MRv2 Resource Manager深入剖析 NM管理. Voidbox: Docker on YARN在Hulu的实现. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. 小小叔: 董老师，请教下，我配置了hadoop2.6的fair 的调度器中. 菜鸟: 请问是不是这样，假如我的hdfs中存在三个目录/a /b /c. Codeflitting: 董老师 你好 我写了个简单地程序，时而跑的通时而跑不通，. Voidbox: Docker on YARN在Hulu的实现.

dongxicheng.org

董的博客 » Hadoop

http://dongxicheng.org/tag/hadoop

Voidbox: Docker on Hadoop在hulu的实战. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. Hadoop 2.4.0版本发布了. 第 1 页，共 11 页. Frameworks (Spark) On YARN. Frameworks (Spark) On YARN. WP Cumulus Flash tag cloud by Roy Tanck. C Primer plus 学习笔记之 RTTI. YARN/MRv2 Resource Manager深入剖析 NM管理. Voidbox: Docker on Hadoop在hulu的实战. Voidbox: Docker on YARN在Hulu的实现. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. Mrray: hbase.regionserver.lease.period. 青鸟: "Thrift的网络栈如下所示 " 这个图弄错了吧，Transp.

dongxicheng.org

董的博客 » 如何高效的阅读hadoop源代码？

http://dongxicheng.org/mapreduce-nextgen/how-to-read-hadoop-code-effectively

Category: hadoop 2.0之YARN. 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http:/ dongxicheng.org/mapreduce-nextgen/how-to-read-hadoop-code-effectively/. 本博客的文章集合: http:/ dongxicheng.org/recommend/. 本博客微信公共账号 hadoop123 微信号为 hadoop-123 ，分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。 这是第一个阶段，你开始尝试使用hadoop，从应用层面，对hadoop有一定了解，比如你可以使用hadoop shell对hdfs进行操作，使用hdfs API编写一些程序上传，下载文件 使用MapReduce API编写一个数据处理程序。 在这个阶段，建议大家多看一些源代码分析博客和书籍，比如 Hadoop技术内幕 系列丛书 轩相关网站 Hadoop技术内幕. Frameworks (Spark) On YARN.

dongxicheng.org

董的博客 » 大数据开源列式存储引擎Parquet和ORC

http://dongxicheng.org/mapreduce-nextgen/columnar-storage-parquet-and-orc

Category: hadoop 2.0之YARN. 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http:/ dongxicheng.org/mapreduce-nextgen/columnar-storage-parquet-and-orc/. 本博客的文章集合: http:/ dongxicheng.org/recommend/. 本博客微信公共账号 hadoop123 微信号为 hadoop-123 ，分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。 相比传统的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐 注 列式存储不是万能高效的，很多场景下行式存储仍更加高效 ，尤其是在数据列 column 数很多，但每次操作仅针对若干列的情景，列式存储引擎的性价比更高。 源自于google Dremel系统 可下载论文参阅 ，Parquet相当于Google Dremel中的数据存储引擎，而Apache顶级开源项目Drill正是Dremel的开源实现。

dongxicheng.org

董的博客 » 资源管理系统Apache Mesos

http://dongxicheng.org/category/apache-mesos

第 1 页，共 1 页. Frameworks (Spark) On YARN. Frameworks (Spark) On YARN. WP Cumulus Flash tag cloud by Roy Tanck. C Primer plus 学习笔记之 RTTI. YARN/MRv2 Resource Manager深入剖析 NM管理. Voidbox: Docker on YARN在Hulu的实现. 吊炸天 hadoop 2.7.0版本发布. Hadoop YARN新特性 label based scheduling. 小小叔: 董老师，请教下，我配置了hadoop2.6的fair 的调度器中. 菜鸟: 请问是不是这样，假如我的hdfs中存在三个目录/a /b /c. Codeflitting: 董老师 你好 我写了个简单地程序，时而跑的通时而跑不通，. Voidbox: Docker on YARN在Hulu的实现.