基于大数据技术的电力全业务数据运营管理平台研究

江 樱1,黄 慧1,卢文达1,骆伟艺2

(1.国网浙江省电力公司,浙江 杭州 310000;2.国网信通亿力科技有限责任公司,福建 福州 350003)

摘 要:随着某省电力全业务海量数据的激增,导致现有电力全业务数据运营平台出现数据分析能力弱、数据处理不及时和数据

管理效率低等严重问题。本文结合大数据技术研究电力全业务数据运营管理平台的设计与构建,通过数据统一存储服务、企业数据仓库和统一分析服务来加强数据分析能力,通过从企业业务全局出发,对企业数据的定义、存储、访问等进行统一规划和管控,提高数据管理效率,采用统一数据模型梳理和全业务数据接入解决数据处理难点,从而实现源端全业务融合、后端大数据分析,深入挖掘企业数据价值、用数据管理企业、用信息驱动业务,让企业信息化成为引领电力业务创新发展的动力。

关键词:大数据;电力全业务;数据运营管理

中图分类号:TM715;TP311 文献标识码:A 文章编号:1003-7241(2018)09-0056-06

Research on Electric Power Full Business Data of Operation and Management Platform Based on Big Data Technology

JIANG Ying1, HUANG Hui1, LU Wen-da1, LUO Wei-yi2

( 1. State Grid Zhejiang Electric Power Corporation, Hangzhou 310000 China;

2. State Grid Info-Telecom Great Power Science and Technology Co., Ltd., Fuzhou 350003 China )

Abstract: With the surge of massive business data in a certain province, the serious problems such as weak data analysis capability,

poor data processing, and low data management efficiency are caused by the existing full-service data operation platform. This project adopts the large data technology to study the design and construction of the power business management platform. Data analysis capabilities are enhanced through unified data storage services, enterprise database, and unified analytics services. Through the overall business of enterprises, the definition of enterprise data, storage, access and other unified planning and control, improve data management efficiency. Using unified data model combing and full business data access to solve data processing difficulties. To achieve the source of all-round business integration, back-end large data analysis, in-depth mining enterprise data value, with data management companies, information-driven business, enterprise information into the power of gravity business innovation and development momentum.

Key words: big data; electric power full business; data operation management

1 引言为了启动国家电网公司全业务统一数据中心的建设工作,国网某电力作为建设的前锋和主力单位,承担了全业务统一数据中心数据分析域和数据管理域相关专项试点建设工作,在已有信息化基础架构优化综合试点建

设成果基础上,全力组织开展全业务统一数据中心建设,为全业务统一数据中心在公司生产控制、经营管理和公共服务领域提供持续信息化技术支撑打下基础,实现源端全业务融合、后端大数据分析,深入挖掘企业数据价值[1]、用数据管理企业[2]、用信息驱动业务,让企业信息化成为引领电力业务创新发展的动力[3-5]。

全业务统一数据中心的数据将有效遵循企业统一数

收稿日期:2017-08-02

56| Techniques of Automation & Applications

计算机应用Computer Applications《自动化技术与应用》2018年第37卷第9期图1 全业务统一数据中心总体架构

图2 全业务数据分析架构

据模型规范要求,从源系统中抽取后统一存储到对应数据库中,结果数据规范统一加工,依靠平台提供的统一分析服务进行数据分析[6],并最终通过规范手段提供数据的统一服务。

据汇集中心,为公司各类分析决策类应用提供完备的数据资源、高效的分析计算能力及统一的运行环境,其细化的技术架构如图2所示。

数据分析主要包括数据统一存储服务、企业数据仓库和数据统一分析服务三部分,分别提供数据存储、数据计算和数据分析能力[7-9]。

2 全业务数据中心分项设计全业务统一数据中心是具备大数据处理能力的企业统一云服务平台,主要包括数据分析和数据管理、数据处理三部分,总体架构如图1所示。

数据处理域是公司生产经营管理过程中各类业务数据存储、处理、融合的中心,主要支撑业务处理类应用,是推进业务流程贯通和数据共享,保障数据质量的关键,提升数据应用水平的基础。

数据分析域是公司各类数据清洗转换、汇聚整合的中心,主要支撑采集监测类和分析决策类应用,是挖掘数据资源价值,提升数据应用水平的核心。

数据管理域是公司数据模型管控、主数据应用的中心,是实现数据规范、安全、正确的关键和保障。

2.1.1 数据统一存储服务提供结构化、非结构化、量测和外部数据的统一存储和管理。对于非结构化、量测及外部数据实现一次录入,全体共享,统一存储服务技术选型如下:

结构化数据库可分类为分布式海量数据库和云化关系型数据库。分布式海量数据库的特点是超大规模、计算高效、高稳定性、高可靠性、高安全性、分钟级响应。云化关系型数据库的特点是底层云化、高可靠性、高稳定性、弹性配置、秒级响应。

非结构化数据库采用非结构化数据,具有分布式、海量、安全、高性能、高可靠性等特点。

2.1.2 企业数据仓库支撑业务结构化数据的抽取、清洗、存储和多维分析构建,可支撑海量、即速、高性能的数据计算,支撑

Techniques of Automation & Applications | 57

2.1 数据分析设计数据分析是公司全业务、全类型、全时间维度的数

《自动化技术与应用》2018年第37卷第9期计算机应用Computer Applications各类大数据分析应用构建。

(1) 数据抽取:针对业务数据来源不同,分为结构化数据、量测数据、非结构化数据、系统外部数据四种抽取同步策略。

(2) 数据清洗加工:应用ETL(Extract-Transform-Load)工具,将结构化数据从原系统的原始数据接入逐层加工到统一视图区、数据仓库区和数据集市区,以提供各类业务应用的企业级全业务数据使用。

与数据分析域的数据同步。

A．实时同步采用流计算方式,可支撑数据先不存储先简单计算的即速响应,直接将结算结果送到应用中使用和展现;

B．定期同步采用批量同步和OGG增量同步两种方式,数据同步后前置采用关系数据库更新数据记录,然后再用批量同步到企业数据仓库的缓冲区,然后ETL加工实现分散系统数据的企业级全业务整合;

C．缓冲-统一视图区的ETL加工:根据企业主数据标准要求和业务对象归并两大要求,对接入缓冲区的原始数据开展数据标准转换和数据宽表ETL合并,行程统一视图区;

D．统一视图区-数据仓库区的ETL加工:根据业务和各系统常用报表和轻量汇总的需求,对统一视图区的数据开展汇总ETL预设,以支撑各业务的常态化数据分析需求。

E．数据集市区的ETL加工:根据业务应用的需求,从统一数据区和数据仓库区的数据开展个性化加工,形成数据集市区的数据。

(2) 量测数据

由前端采集装置通过“一发双送”的策略,直接从各厂站将实时量测采集数据送到全业务统一数据中心的数据分析域和采集系统,数据分析域中直接存储在列式数据库,然后定期同步给企业数据仓库。

(3) 非结构化数据

各业务系统和传统非结构化平台的非结构化数据迁移并统一存储至全业务统一数据中心-分析处理域的分布式文件系统中,各业务系统的非结构化文档路径指向改造。

改造完成后统一由全业务统一数据中心-分析处理域的分布式文件系统为数据处理域提供非结构化文档服务。

(4) 外部数据

外部数据通过Excel上载、API接口、爬虫等方式,

2.1.3 数据统一分析服务为数据分析提供一体化计算能力和数据开发支撑,提供高效、便捷、安全的访问数据分析域数据能力,包括数据计算、数据挖掘、算法模型、数据探索及数据权限等,相应技术选型如表1所示。

表1 数据统一分析服务

2.1.4 数据流转路线基于数据统一存储服务、企业数据仓库及统一分析服务的数据分析域数据整体流转路线如图3所示。

(1) 结构化数据

由业务系统根据不同时效需求,可选择实时同步和定期同步(小时及以上)执行数据处理域的系统数据库

图3 全业务统一数据中心数据流转路线

58| Techniques of Automation & Applications

计算机应用Computer Applications《自动化技术与应用》2018年第37卷第9期图4 全业务统一数据中心-管理域功能架构

结构化数据直接存储在企业数据仓库的外部数据区域,非结构化数据存储在分布式文件系统中,面向全公司各部门开放。

域的统一模型设计。企业统一数据模型包括概念模型、逻辑模型和物理模型三个层次。

概念数据模型是一种高层次的、高度抽象的数据模型,基于对企业业务的分析,抽象出主要业务领域及相互关系。概念模型使用主题域来表达业务领域及其关系,包括一级主题域和二级数据域及其关系视图,搭建出一套统一数据模型的总体构架。

逻辑数据模型是对概念数据模型的进一步分解和细化,明确概念数据模型中业务对象类的属性,描述业务对象及属性的业务含义,利用数据模型设计工具设计类图,通过继承、聚合、关联等方式反映业务对象类之间的关系,通过业务的梳理与分析反映业务关联和数据同源信息。

物理数据模型是在逻辑数据模型的基础上,结合具体数据库特性,考虑信息系统对数据存储的基本要求,把逻辑数据模型转化为物理数据模型,形成可实际运行的数据模型,用于支持具体业务应用。

(2) 企业数据仓库模型

企业数据仓库模型主要包括两个ODS明细数据层和DW数据仓库层,ODS层物理模型按照第三范式的要求设计,能够反映主数据历史变化记录、数据逻辑删除和数据时间戳标识的物理模型,实现数据同源和业务关联衔接,并能实现数据中心分析域与处理域的数据模型的一致性和互操作性,满足业务应用对明细数据的查询、溯源分析和最终实现处理域与分析域“一发双送”的需求。DW层物理模型按照数据对象化和轻量汇总的原则构建,业务逻辑明确的同一个业务对象归并、整合对应唯一的物理模型,使用业务维度、业务指标和全流程整合的角度构建数据仓库层模型,屏蔽不必要的技术细节和业务

Techniques of Automation & Applications | 59

2.2 数据管理设计数据管理从企业业务全局出发,对企业数据的定义、存储、访问等进行统一规划和管控,保证全企业范围内数据的一致性、准确性和可靠性,通过管理与技术手段持续的、有序的优化治理,将有效推进企业数据的规范化、标准化,大幅提升数据质量,逐步形成数据流向清晰、标准统一、交互高效的数据服务能力,简化企业业务融合难度,提升业务协作效率,为企业内跨专业、跨系统的数据集成与应用提供有力的支持。

数据管理域物理上一级部署、两级应用,建设的核心是统一数据模型及主数据管理。数据管理域有统一数据模型、企业主数据管理、管理工具及相关保障制度组成,支撑数据处理域和数据分析域,如图4所示。

2.2.1 统一数据模型SG-CIM3.0是数据管理域的核心,实现公司数据定义、数据管理、数据交换的标准化和规范化,保证公司业务数据在语法和语义上的统一,建立各专业人员共同理解和沟通的语言,提供系统之间开展集成和互操作的基础接口标准,指导相关领域信息系统的建设和业务基础工作。SG-CIM3.0涵盖核心业务模型、企业数据仓库模型和应用集成接口规范构成。

(1) 核心业务模型

核心业务模型包括人员组织、财务、物资、项目、电网、资产、客户7大核心业务领域,基本覆盖公司的主营核心业务,公司承担除“项目”外的其他六个主题

《自动化技术与应用》2018年第37卷第9期计算机应用Computer Applications细节,满足业务应用对数据的汇总统计和BI分析。

(3) 应用集成接口规范

基于IEC接口设计规范,依托核心业务模型和主数据管理,分析现有业务集成、识别业务集成典型应用场景,围绕资产全寿命、能量全过程、客户全方面、人财物集约化、企业全面风险等业务主线,设计形成典型应用集成接口规范,应用于处理域建设。

业务规则、业务术语、统计口径、信息分类。同时具备对数据的智能探索功能,实现对数据的血缘分析、数据关系发现、转换规则生成等功能。

(4) 数据质量核查

数据质量稽核评价功能建设数据稽核规则管理、稽核任务管理、质量问题管理和稽核应用管理四个大功能模块,主要实现基于企业全业务数据的稽核规则定义、基础规则配置、业务规则开发、稽核任务定义、问题闭环管控、结果分析查询和统计报告生成等功能,为开展企业数据资产质量稽核提供信息化支撑手段。

2.2.2 企业级主数据管理主数据是企业内部关于核心业务实体的参照数据,为企业信息提供统一的视图。公司主数据的统一管理和应用是消除数据冗余、提升数据质量的关键。组织机构、会计科目、资产、物料、供应商、项目、设备、客户等反映企业核心资源的业务对象,都应纳入企业级主数据管理范畴。

根据公司业务实际,对主数据采取两类管理策略,一类是由公司主数据管理系统作为数据唯一入口,包括物资、项目、供应商、组织机构等相关主数据;一类是针对设备、资产、客户等相关主数据,与业务关系密切,变更复杂,由相关业务系统作为数据唯一入口。所有主数据,同步到主数据管理系统后向各应用发布,各应用系统以主数据管理系统中的内容为准,确保“源端唯一、一处维护、多处使用”。

2.2.4 管理规范、标准及保障制度针对统一数据模型、企业级主数据管理的管理特点和管理要求,明确统一数据模型的、企业级主数据管理的管理机制和支撑体系运作模式,明确相关工作及数据的责任方、模型的维护主体和发布形式、主数据的业务运维主体和运维模式,并确定责任部门的职责分工和工作界面。制定数据模型管理工具、主数据管理平台、元数据管理平台及数据质量管理平台等支撑手段的运行维护管理办法,明确系统运维主体、应用方式及相关的组织保障。

2.3 数据处理之数据模型梳理及数据接入为有效指导数据管理域和数据分析域的建设落地,针对难度较大的数据处理是全业务数据接入明确工作方法。

根据公司前期2015年全量系统数据接入经验,结合国家电网全业务数据接入的规范要求,企业全业务数据接入推进方法如图5所示。

待接入系统的数据按照结构化、量测、外部及非结构化四类分别拟接入清单,然后按照数据抽取规则分门别类的抽取,这期间可开展单系统的数据质量核查。然后根据统一视图和数据仓库层模型的两轮设计,同步开展两轮ETL加工调整。基于统一视图区和数据仓库ETL结果开展跨业务主线的数据质量核查。

本项目建设的数据架构遵循公司企业统一云平台和统一数据库的整体要求,主要由离线计算区和实时计算区构成,包括实时数据流、离线数据流、计算结果返回流和在线数据查询,整体数据流架构如图6所示。

流式计算(实时数据)主要为实时数据获取与计算服务,实时计算结果数据可以直接存入关系数据库供业务应用实时调用,也可以存档到数据仓库中长期存储。

离线计算(离线数据)主要采集和计算非实时数据,通过批量同步按照一定的频度导入业务数据,并在数据仓库中经过缓冲区、ODS统一视图区、数据仓库(DW)层、数据集市(DM)层按需加工处理。

2.2.3 数据管理手段与工具(1) 数据模型管理

为有效支撑企业核心业务模型和企业数据仓库模型的管理和应用,设计和研发相应的数据模型管理支撑工具,实现统一数据模型的在线设计发布、模型探索、模型全过程变更、模型分析及模型应用检查等功能,确保模型和义务逻辑上始终保持一致,并具备一定的模型智能化探索和自助收敛功能。

(2) 主数据管理

开展主数据管理,需要在技术上和管理上分别采取有效措施。技术上,需要企业级主数据管理系统的支撑,实现主数据采集、审核、分发等功能,并具备业务系统存量业务主数据与权威源之间的映射管理;管理上,要分业务领域明确主数据的责任部门,并建立相应管理流程。通过技术和管理的手段,保证主数据在企业范围内的一致性与完整性。

(3) 元数据管理

在SG-CIM3.0模型的基础上,建立企业级的元数据管理平台,实现对技术元数据和业务元数据的统一管理,通过技术元数据管理实现对数据实体和数据处理过程中的技术细节和处理规则管理,业务元数据管理实现对IT系统的数据实体和数据处理的业务化描述,包括

60| Techniques of Automation & Applications

计算机应用Computer Applications《自动化技术与应用》2018年第37卷第9期图5 全业务数据接入推进方法图

图6 整体数据流架构图

结果数据返回指海量业务数据经过大数据平台复杂逻辑计算或算法计算后产生结果数据,并将结果数据返回给业务源系统使用。

在线数据查询提供实时数据、业务明细数据及计算结果数据的在线访问,包括RDS关系数据查询、ADS内存计算数据查询(海量数据多维度即时查询(毫秒、秒级响应))、OTS半结构化数据即时查询。

[1] 赵恒.基于大数据平台的运营管理信息系统设计[J]. 电信网技术,2016,(10):88-94.

[2] 卢建昌,樊围国.大数据时代下数据挖掘技术在电力企业中的应用[J].广东电力,2014,27(9):88-94.

[3] 赵云山,刘焕焕.大数据技术在电力行业的应用研究[J].电信科学,2014,30(1):57-62.

[4] 孙柏林.“大数据”技术及其在电力行业中的应用[J]. 电气时代,2013,(8):18-23.

[5] 程学旗,靳小龙,王元卓等.大数据系统和分析技术综述[J].软件学报,2014,25(9):1889-1908.

[6] 彭小圣,邓迪元,程时杰等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报,2015,35(3):503-511.

[7] 雷蕾,李景文,宫大鹏等.基于Hadoop的OSS域数据建模与采集方法研究[J].电信科学,2015,31(1):128-138.

[8] 吴凯峰,刘万涛,李彦虎等.基于云计算的电力大数据分析技术与应用[J].中国电力,2015,48(2):111-116.

[9] 张逸,杨洪耕,叶茂清.基于分布式文件系统的海量电能质量监测数据管理方案[J].电力系统自动化,2014,38(2): 102-108.

3 结束语本文着力研究大数据技术以设计和构建电力全业务数据运营管理平台,通过数据统一存储服务、企业数据仓库和统一分析服务来加强数据分析能力,通过从企业业务全局出发,对企业数据的定义、存储、访问等进行统一规划和管控,提高数据管理效率,采用统一数据模型梳理和全业务数据接入解决数据处理难点,从而实现源端全业务融合、后端大数据分析,深入挖掘企业数据价值、用数据管理企业、用信息驱动业务,让企业信息化进一步引领电力业务创新与发展。

参考文献:作者简介:江樱(1980-),女,研究生,高级工程师,研究方向:大数据技术。

Techniques of Automation & Applications | 61