分类目录归档：大数据

spark系列 – RDD编程使用

这是一个系列，建议从《spark系列 – spark on yarn搭建》开始阅读。

RDD是spark对数据集的抽象，任意大小的数据集都可以通过1个RDD对象来表达，因此spark编程操作大数据集非常简单。继续阅读 →

mapreduce框架在开发需要多轮MR的任务时，因为shuffle过程和reducer输出需要写到磁盘上，所以执行效率很低。继续阅读 →

入门hadoop，我认为很重要也很困难的一点就是理解各种纷杂的文件格式与压缩算法的关系，理解mapreduce如何与不同的文件格式进行合作，只有建立好这些认知才能进一步用好hive等上层组件。继续阅读 →

近期学习大数据技术，将通过博客分享它们原理与使用。继续阅读 →

azkaban是当下最主流的ETL任务调度工具，容易理解与使用，轻松分布式扩展处理能力。继续阅读 →