分类目录归档：hadoop

【BI报表选型】metabase方案

在做数仓的过程中是需要对数据进行可视化与报表的，有一些开源的BI报表平台可以通过配置SQL和图表的方式制作Dashboard，甚至支持邮件定时发送报表、指标监控告警等。继续阅读 →

azkaban经常拉起的就是Hive命令，计算任务其实是丢到Yarn集群中运行的，然而实践中发现Hive命令是非常废本地CPU和Mem的，这是为什么呢？继续阅读 →

sqoop import导入mysql表时，为了降低磁盘空间占用，均采用了parquet文件格式进行列存储+压缩。继续阅读 →

近日，采集组同事遇到一个难题，下面简单描述一下这个问题和我的建议。继续阅读 →

这两天准备了一个关于Hadoop与Hive的公司分享PPT，算是深入浅出类型的，分享给大家。

继续阅读前请确保按照《理解与搭建hive》完成了搭建，本文将体验hive的基础用法，简单理解hive的执行原理。继续阅读 →

本文需要先完成《理解与搭建hadoop》中的hadoop环境搭建。继续阅读 →

本文目的是提供一个最小化的hadoop配置与安装指南，版本使用最新稳定版本hadoop 2.7.3，它利用yarn实现资源管理。继续阅读 →