科技经济导刊22期13科技经济信息化一访云基于电网的及研大数据平台异构数据统问化数据整合技术究孙若寒李志刚乔涵乌鲁木齐2(国网电力公司信息通信公司3业界对大数据缺乏统一的定义国家电网公司通过对大数据内涵和外延的深入理解结合数据现状和业务需求研究并提出了电力大数据的概念电力大数据是以挖掘数据价值为目标利用数据存储计算分析与挖掘数据管理等方面核心关键技术构建的高效智能灵活安全的大数据生态系统电力大数据的应用将推动公司业务发展和管理水平提升关键词:电力大数据;异构数据;电网业支撑摘要:目前、“”。、、、、。。中图分类号:1c37文献标识码:C文章编号:2096一1995(2016)32一0027一01国网公司全面推进了以信息化自动化互动化为基本特征的智能电网建设随着此项工作的推进尤其是国网公司下属各个单位在调度自动化输变电设备状态监测用电信息采集等项目的试点与推广建设产生了大量异构数据(时标数据结构化数据半结构化数据及非结构化数据)这些异构数据经过沉淀生成海量历史数据构成了公司电力大数据应用基础目前适合电网应用的大数据产品不成熟示范应用仍未出现广泛推广尚未开始如何从分利用现有的数据资产通过大数据技术为现有业务提供支撑确保电网各项业务安全稳定高效地运行是当前大数据技术在电网应用的关键难题2研究目的和意义本研究根据国网公司各项业务和大数据平台的建设规划的实际情况从解决传统数据库存在的各种弊端满足异构数据库集群高效统一透明访问角度出发致力于实现大数据平台与各种数据库文件存储系统的有机融合实现支持云化部署和架构的ETL数据整合平台具有以下意义21构建面向电网行业的异构数据统一访问技术和云化数据整合基础架构理论体系通过本研究完成公司信息系统对异构数据集群的应用现状调研和需求分析依托开源数据库架构提出异构数据统一访问技术的发展规划兼顾与大数据新技术的融合初步形成支撑实际应用的异构数据统一访问技术架构体系22研发拥有自主知识产权的基于大数据平台的异构数据统一访问和云化数据整合系统在公司多年来对基于Had。叩系统的主流大数据技术的研究基础上结合公司在电网行业信息化建设实践经验研发拥有自主知识产权的基于大数据平台的异构数据统一访问与云化数据整合系统实现大数据平台与已有的多源异构数据的有机融合以及共同支持电网业务的发展23提升公司内部数据利用率降低信息成本当前公司内部系统诸如营销调度生技等各业务系统厂站使用不同的数据库系统及文件系统这样在数据的访问使用上方式各异使得各业务系统之间难以实现数据共享也较难进行统一的数据访问和分析通过异构数据统一访问和云化数据整合系统的建立使得各异构系统的数据统一访问和交互成为现实这将有效降低数据访问和信息收集的成本。研究背景、、,、、,、、,,。,、,。,、、,。,,,、,,:,,,,,。,,,,。,、、、,,,。,,。33研究技术关键与难点1、异构关系数据库统一访问技术现有电网的各项业务大都基于关系型数据库如eclMysQL等研究统一的异构数据库访问技术rao同时支持SQL操作以最大程度支持现有业务无缝向,。基于大数据平台的异构数据库访问上迁移同时根据电网业务特点进行优化提供数据访问效率分布式数据库数据分散在不同的节点上的因此需要对分布式数据库系统提供分布式查询处理的功能并在查询处理过程中充分利用并行查询来优化查询处理效率32分布式NoSQL数据库文件系统异构数据统一访问技术针对电网大数据的特点研究并构建数据库网关llds与文档数据库实现典型的Key/Vae数据库ReiMongoDB的统一访问技术实现其与电网大数据平台的统一访问对于存于文件系统中的历史数据实现分布式NoSQL数据库文件系统异构数据统一访问技术33Hadoop数据库系统异构数据统一访问技术作为Hadop系统大数据仓库组件Hiv研究统一e的访问技术实现与异构数据库的互访问共同支持电网各项业务的安全稳定高效运行34异构数据统一接人技术由于数据源存储格式的不同各种数据源都有自己的访问方法数据的存取是直接对源数据的读写操作很难有一个统一的方法来存取所有的数据源因此在数据接人方面需要针对各种数据源提供相应的数据驱动程序来支持某种接口以便对这些接口进行统一的管理从而实现对数据存取的统一访问35支持云化部署和架构的ETL数据整合平台技术在云化数据整合功能中要把抽取/转换/加载这些过程完全实现插件化当面对不同的数据存储平台(数据库或者文件系统)时ETL云化数据整合只要提;供调取相应的组件即可实现对该接口的支持对于常用的相应的转换操作也直接提供相应的转换组件来实现复杂的转换逻辑4研究实施本研究的总体实施路线是研究公司基于大数据平台异构数据统一访问并实现基于云化部署的数据整合在研究过程中一方面结合公司已有系统结构技术和特征利用已有也有系统的标准和实践经验开展实;现方法和技术的研究另一方面充分吸收国内外相关技术研发经验走自主研发路线实现系统在技术功能上的突破与创新在研究过程中遵循规则收集与模型设计软件研发与标准制定结合的实施路线研究工作以现有系统和数据情况为基础同时从异构分布式数据源系统群集管理技术分布式数据查询技术分布式事务处理技术异构数据统一接人技术以及基于云化部署和架构的数据整合技术等技术开展研究最终完成异构数据统一访问基于云化部署和架构的数据整合技术研发并在试点应用中进行改进和完善,。,,,。、,,。,、。,,、、。,。,。,,。,。,,。,,,。,。、,,,,。,、。,、,,,,,。,。一27一
