这是系列博客，你应该从《hdfs系列 – Text格式与mapreduce》开始阅读。 继续阅读
hdfs系列 – Orc格式与mapreduce
发表评论
hdfs系列 – Avro格式与mapreduce
这是系列博客，你应该从《hdfs系列 – Text格式与mapreduce》开始阅读。 继续阅读
hdfs系列 – SequenceFile格式与mapreduce
这是系列博客，你应该从《hdfs系列 – Text格式与mapreduce》开始阅读。 继续阅读
hdfs系列 – Text格式与mapreduce
入门hadoop，我认为很重要也很困难的一点就是理解各种纷杂的文件格式与压缩算法的关系，理解mapreduce如何与不同的文件格式进行合作，只有建立好这些认知才能进一步用好hive等上层组件。 继续阅读
hadoop伪分布式环境搭建
近期学习大数据技术，将通过博客分享它们原理与使用。 继续阅读
azkaban入门
azkaban是当下最主流的ETL任务调度工具，容易理解与使用，轻松分布式扩展处理能力。 继续阅读
Golang自定义JSON序列化
在Go语言中，我们可以很方便的使用标准库encoding/json进行结构体的（反）序列化，它会自动帮我们解析嵌套的structs，以及内部的string、int、map等基本类型，但对于某些特殊类型就不是那么好用了。 继续阅读
kubernetes – 如何查看POD挂掉之前的终端输出？
POD中的container因为程序BUG挂掉之后会进行container重启，POD自身不会重建，因此POD还是在原先的node上。 继续阅读
开源我的go-raft实现
经过一个阶段的MIT6.824课程学习，我将Raft实现进一步工程化，并将代码放在了这里： 继续阅读
MIT 6.824: Distributed Systems- 实现Raft Lab3B
接上文《MIT 6.824: Distributed Systems- 实现Raft Lab3A》，Raft Lab3B要求实现snapshot，避免log不断变大无法继续运作。 继续阅读
当我们封装Go MVC框架时需要注意什么？
在公司推行Go框架web开发已经很长一段时间了，最近随着业务方越来越多，发现框架设计的部分不合理性，下面简单说明。 继续阅读
MIT 6.824: Distributed Systems- 实现Raft Lab3A
接上文《MIT 6.824: Distributed Systems- 实现Raft Lab2C》，Lab3A要求基于Raft实现分布式kv server，支持Put/Get操作，并且要求设计满足线性一致性。 继续阅读
MIT 6.824: Distributed Systems- 实现Raft Lab2C
接上文《MIT 6.824: Distributed Systems- 实现Raft Lab2B》，Lab2C包含2个主要任务： 继续阅读
MIT 6.824: Distributed Systems- 实现Raft Lab2B
接上文《MIT 6.824: Distributed Systems- 实现Raft Lab2A》，本篇实现Raft Lab2B作业，即实现日志同步。 继续阅读
MIT 6.824: Distributed Systems- 实现Raft Lab2A
MIT 6.824: Distributed Systems是麻省理工大学的研究生公开课，主讲分布式系统。 继续阅读
推荐2本机器学习的好书
学机器学习，不可能一直停留在”API侠”层面，终究会开始探究原理的，而机器学习的原理就是数学。 继续阅读
开源K8S跳板机 – 轻松接入现有发布系统
近日给公司的发布系统上跳板机，要求带有审计和操作回放，因此用GO做了一个K8S跳板机。 继续阅读
端到端的tensorflow2.0工程示例
本文以泰坦尼克数据集为例，提供了一套端到端的完整tensorflow2.0工程示例： 继续阅读
K8S部分业务POD内存持续泄露问题 – 后记
在上一篇《K8S部分业务POD内存持续泄露问题》博客中，我分析了1种POD持续内存泄漏的场景，如果你没读过的话建议先看一下。 继续阅读
K8S部分业务POD内存持续泄露问题
线上K8S集群有极少量的PHP业务，它们的POD内存持续走高直到OOM，相信与特殊代码场景有关，需要展开分析。 继续阅读