分类目录归档:HBase

HBase 常见使用场景和成功案例


有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。

注意:不要自我限制,认为HBase只能解决这些使用场景。它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展。如果你有新想法,认为可以受益于HBase提供的...

Read more

spark sql 数据导入及处理


公司要做准实时数据处理,由于数据分布在不同的数据库中(mysql,oracle,postgresql,sqlserver,奇葩公司无力吐槽),所以设计了如下流程:

  1. 写脚本定时将各数据库数据导成文件并上传到hdfs;
  2. spark定时将文件转为spark sql的临时表,
  3. 根据分析模型,从spark sql临时表中抽取数据生成模型表写入hbase(这里有个新老数据的坑未填)。

为了扩展性,生...

Read more