大数据分析的技术选型考虑

比如站点有1000万用户，用户有各类积分和行为信息，现在想做用户画像的话，基于MYSQL跑统计脚本能否玩的通呢？

一般来说，每个用户的画像简单存储为mysql的一行，有很多属性列，比如A列和B列。

我们从其他系统的mysql里挖掘出一些用户的A属性，希望写回到画像表，做法肯定是遍历挖掘结果，去画像表读出一行，如果用户画像不存在还要创建出来，之后再把A属性填上，将行写回去。

用户少还可以玩，假设有1000万，到底要跑多久才能搞得定呢？这就很难了，1000万次读，1000万次写，用一个单进程脚本读写mysql，中途异常就会中断，即便不中断又要跑多久呢？

先看问题是什么：首先挖掘出的A属性可能也是1000万行，可以直接插入到另外一张表或者sql dump到一个文件中。接下来，这些A属性要更新到对应的用户画像中，1000万用户就要读1000万次用户画像，因为你不读就不知道用户画像记录是否存在，不存在就要建立出来，这个真的无法避免。最后，需要把A属性填到对应的列中，写回这一行。

正是因为mysql是行存储的原因，所以必须通过读一次的方式确认用户记录是否存在。如果我们换成hbase这种列存储，那么直接写1000万次，将A属性作为某个列簇下的值写到hbase里即可。

我建议的做法是在hbase中保存用户画像，基本模型就是userid => {A属性，B属性，C属性}的映射，并在hive中以该hbase作为数据源建立对应hive表，便于后续基于画像数据的数据分析。（hive整合hbase参考这个）

为了挖掘A,B,C属性，可以将mysql待挖掘数据同步到hdfs中并建对应的hive表，它作为挖掘属性的数据源，通过执行Hive sql，它基于mapreduce并行可靠的产出结果，快速的挖掘得到1000万用户的各类属性。

hive sql挖掘出的属性中间结果，可以直接更新到用户画像hive表（数据在hbase里）的对应userid中，存储在具体某个列下面，hive+hbase支持选择性的覆盖hbase的特定列而不影响其他列（例如：insert into hbase_table select col1,col2 from other_hive_table;），具体参考用法。

对于mysql数据导入hive以及mysql数据增量导入hive的问题，可以用sqoop工具搞定。但是基于hive挖掘属性更新用户画像的行为本身是全量模型，如果我们想增量挖掘可以考虑给hive表建分区，同时在sqoop导入的时候自定义sql语句来输出用于分区的列值（比如用当前时间作为这一列），这样导入的数据会进入hive的一个新分区中，此后我们启动hive挖掘的时候可以用上次挖掘的时间作为条件，只处理分区值大于该时间的数据，不过这好像不太适合count类的增量计算，因为更新画像表的时候只能覆盖列，而不支持在列上进行加减操作，我们可以想象hive在跑hadoop时候对hbase进行increase操作，如果出现异常到底是加上了还是没加上呢？真的不太好做，所以覆盖是最可靠的。

另外，hive本身支持以hbase作为数据源建立hive表，无需我们做额外的工作。

如果文章帮助您解决了工作难题，您可以帮我点击屏幕上的任意广告，或者赞助少量费用来支持我的持续创作，谢谢~