azkaban经常拉起的就是Hive命令，计算任务其实是丢到Yarn集群中运行的，然而实践中发现Hive命令是非常废本地CPU和Mem的，这是为什么呢？ 继续阅读
azkaban – 同时拉起JOB过多导致机器打满
发表评论
作者归档：yuer
sqoop – import导入parquet的坑
sqoop import导入mysql数据时使用parquet是为了列存压缩节约磁盘空间，但parquet本身是类似于protocolbuf的强schema格式，每一列的数据类型都是明确定义的，这就带来了一些坑点，下面列举一下。 继续阅读
hive – parquet文件格式OOM问题
sqoop import导入mysql表时，为了降低磁盘空间占用，均采用了parquet文件格式进行列存储+压缩。 继续阅读
家庭搭建openconnect vpn
家里运行了一些服务，希望在外面也可以方便的访问它们。 继续阅读
如何将spark-sql的Row转成Java对象？
实践中发现一个需求，需要将SQL读取的Dataframe的Row转成方便操作的Java bean。 继续阅读
shell执行hive sql的*星号问题
hive执行sql时一般都写在bash脚本里，例如： 继续阅读
maven编译报错：不再支持源选项5。请使用7或更高版本。
我在macbook上通过brew安装了新版本的maven，然后编译项目就出现了标题中的错误。 继续阅读
azkaban – 上传zip太大怎么办？
因为azkaban任务需要用到spark，打出来的jar包好几百兆，打包成.zip上传azkaban就会卡住很久很久，甚至失败。 继续阅读
java泛型高级篇 – 真正理解协变与逆变
无论你是否听过java泛型的协变与逆变，我们直接进入例子，一起来看一下java泛型比较高级的用法。 继续阅读
推荐业务的JAVA程序性能分析
本文分享一下近期在推荐业务场景下的JAVA程序性能分析过程，虽然没有得到什么有效的优化结论，但过程中的思路和工具还是挺有价值的，也希望能与碰到类似场景的朋友进行交流。 继续阅读
java泛型的特殊之处
本文通过3个小例子，探索一下Java泛型和C++泛型的区别，说明Java泛型的一些特殊之处。 继续阅读
java – 理解泛型
java泛型相比C++模板要简单的多得多，只不过java泛型标准引入的时候因为历史版本兼容性的原因受到了一些限制，我们大可不必拘泥于刻板的语法强调说明，让我们一起来把握一下java泛型最重要的那些部分。 继续阅读
java – 理解classloader
最近学习大数据，意识到java不仅解决了C++高昂的内存管理成本之外，其”类动态加载”和”反射”机制无疑有效的支撑了”计算向存储移动”思路的落地，难怪java语言在大数据领域成为主流选择。 继续阅读
sqoop – mysql导入hive与hive导出mysql
sqoop用于关系型数据库与数仓进行数据交换，是大数据必备工具。 继续阅读
hive系列 – 数仓分层Demo
大数据越来越重要，要管理与利用好这些数据就需要建设数据仓库。
数仓建设是有一套建模理论的，本文通过一个简单例子来理解数仓分层的基本样貌。 继续阅读
hive系列 – spark on hive配置与编程
我们经常会选择使用spark做原始数据的ETL清洗，清洗后的Dataframe最终需要写入到数仓的Hive表中，也就是说spark能否直接读写hive表特别重要。 继续阅读
hive系列 – hive搭建
本文记录hive3.x版本搭建过程。
spark系列 – spark-sql编程使用
体验过spark RDD编程，我们能感受到几个问题： 继续阅读
spark系列 – RDD编程使用
这是一个系列，建议从《spark系列 – spark on yarn搭建》开始阅读。
RDD是spark对数据集的抽象，任意大小的数据集都可以通过1个RDD对象来表达，因此spark编程操作大数据集非常简单。 继续阅读
spark系列 – spark on yarn搭建
mapreduce框架在开发需要多轮MR的任务时，因为shuffle过程和reducer输出需要写到磁盘上，所以执行效率很低。 继续阅读