专利名称:一种基于Hadoop和HBase的大数据多维数据分析
方法及系统
专利类型:发明专利发明人:蔡剑齐,蔡炜榕申请号:CN201910609023.5申请日:20190708公开号:CN110347755A公开日:20191018
摘要:本发明提供一种基于Hadoop和HBase的大数据多维数据分析方法,包括:定义多维数据模型,其维度根据用户需要从源数据的表的字段中选取,并配置需要的分析度量;根据定义的多维分析数据模型的维度n,从数据源中读取对应的数据,采用Hadoop对所述数据进行计算,得到2种组合的数据立方体,将数据立方体保存到HBase数据库中;输入一数据库查询语句,通过Rest服务层转发给查询引擎,查询引擎将数据库查询语句转换为对应的符合HBase查询的API语句,根据API语句通过路由选择并结合HBase自带的查询机制获取HBase内符合查询条件的数据或数据集。本发明还提供一种基于Hadoop和HBase的大数据多维数据分析系统,满足超大数据集下的实时查询、分组和聚合,提高数据处理效率。
申请人:南威软件股份有限公司
地址:362000 福建省泉州市丰泽区丰海路南威大厦2号楼
国籍:CN
代理机构:泉州市文华专利代理有限公司
代理人:张浠娟
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容