大數(shù)據(jù)這個術語最早期的引用可追溯到 Apache 軟件基金會的開源項目 Nutch。當時，大數(shù)據(jù)用來描述為更新網(wǎng)絡搜索索引需要同時進行批量處理或分析的大量數(shù)據(jù)集[1]。早在 2008 年 Nature 就出版了專刊“Big Data”，從網(wǎng)絡經(jīng)濟學、超級計算、互聯(lián)網(wǎng)技術、生物醫(yī)藥、環(huán)境科學等多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn);2011 年 Science 推出數(shù)據(jù)處理的專刊“Dealing With Data”，深入討論了數(shù)據(jù)洪流(data deluge，DD)所帶來的挑戰(zhàn)，并指出如果能夠更有效地組織和利用這些海量數(shù)據(jù)，人們將得到更多的機會發(fā)揮科學技術對推動社會發(fā)展的巨大作用;2012 年奧巴馬宣布美國政府投資 2 億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，將大數(shù)據(jù)比喻為“未來的新石油”，將對大數(shù)據(jù)的研究上升為國家意志，掀起了世界各國大數(shù)據(jù)的研究熱潮[2-7]。

　　大數(shù)據(jù)的定義，業(yè)界雖然有一些共識，但是并未有統(tǒng)一的定義。麥肯錫認為“大數(shù)據(jù)是指其大小超出典型數(shù)據(jù)軟件抓取、儲存、管理和分析范圍的數(shù)據(jù)集合”;Gartner 認為“大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產”[1]。在對大數(shù)據(jù)的定義中，比較有代表性的定義是 3V 定義，即規(guī)模性(Volume)，多樣性(Variety)和高速性 (Velocity)，規(guī)模性是指數(shù)據(jù)量龐大，數(shù)據(jù)洪流已經(jīng)從 GB、TB 級上升到 PB、EB、ZB 級;多樣性是指數(shù)據(jù)類型繁多，并且包含結構化、半結構化和非結構化的數(shù)據(jù);高速性則是指數(shù)據(jù)以數(shù)據(jù)流的形態(tài)快速、動態(tài)的產生，數(shù)據(jù)處理的速度也必須達到高速實時處理[7-12]。另外大數(shù)據(jù)第 4V 的討論并沒有取得一致的結論，國際數(shù)據(jù)公司(international data corporation，IDC)認為大數(shù)據(jù)應該具有價值性 (Value)，且價值密度稀疏;IBM 則認為大數(shù)據(jù)的第 4V 特性是真實性(Veracity)[8]。大數(shù)據(jù)的這些特點決定了在大數(shù)據(jù)時代，傳統(tǒng)的數(shù)據(jù)處理技術必需有革命性的提升。

　　1 智能電網(wǎng)、云計算和大數(shù)據(jù)的關系

　　1.1 智能電網(wǎng)與大數(shù)據(jù)的關系智能電網(wǎng)就是將信息技術、計算機技術、通信技術和原有輸、配電基礎設施高度集成而形成的新型電網(wǎng)，具有提高能源效率、提高供電安全性、減少環(huán)境影響、提高供電可靠性、減少輸電網(wǎng)電能損耗等優(yōu)點[11]。智能電網(wǎng)的理念是通過獲取更多的用戶如何用電、怎樣用電的信息，來優(yōu)化電的生產、分配及消耗，利用現(xiàn)代網(wǎng)絡、通信和信息技術進行信息海量交互，來實現(xiàn)電網(wǎng)設備間信息交換，并自動完成信息采集、測量、控制、保護、計量和監(jiān)測等基本功能，可根據(jù)需要支持電網(wǎng)實時自動化控制、智能調節(jié)、在線分析決策和協(xié)同互動等高級功能，因此相關研究者指出：可以抽象的認為，智能電網(wǎng)就是大數(shù)據(jù)這個概念在電力行業(yè)中的應用[12]。

　　1.2 大數(shù)據(jù)與云計算的關系根據(jù)美國國家標準與技術研究院的定義，云計算是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時、隨地、按需、便捷地訪問共享資源池(如計算設施、應用程序、存儲設備等)的計算模式[13]。從技術上看，大數(shù)據(jù)根植于云計算，云計算的數(shù)據(jù)存儲、管理與分析方面的技術是大數(shù)據(jù)技術的基礎。利用云計算強大的計算能力，可以更加迅速地處理大數(shù)據(jù)，并更方便地提供服務;通過大數(shù)據(jù)的業(yè)務需求，可以為云計算的發(fā)展找到更多更好的實際應用[14]。云計算使大數(shù)據(jù)應用成為可能，但是沒有大數(shù)據(jù)的信息沉淀，云計算的功能將得不到完全發(fā)揮，所以從整體上看，大數(shù)據(jù)與云計算是相輔相成的[15]。

　　1.3 智能電網(wǎng)、云計算、大數(shù)據(jù)的相互關系圖 1 簡要描述了智能電網(wǎng)、云計算、大數(shù)據(jù)三者之間的相互關系。云計算能夠整合智能電網(wǎng)系統(tǒng)內部計算處理和存儲資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強有力的技術組成[16];大數(shù)據(jù)技術立足于業(yè)務服務需求，根植于云計算，以云計算技術為基礎;智能電網(wǎng)可以抽象的認為是大數(shù)據(jù)這個概念在電力中的應用[12]，所以三者是彼此交互的關系。智能電網(wǎng)、云計算、大數(shù)據(jù)三者之間的關系，從更加深層次來講，是電力系統(tǒng)發(fā)展到不同階段的產物，具有代紀傳承的特點。圖 2 從代紀傳承的角度描述了三者之間的相互關系。

　　2 電力大數(shù)據(jù)平臺的總體架構

　　Apache 基金會開源技術通用的大數(shù)據(jù)平臺整體架構如圖 3 所示[17]。該架構具有較好的通用性，適用于電力企業(yè)大數(shù)據(jù)的規(guī)劃，其主要思想是利用基于 Hadoop 文件系統(tǒng)(Hadoop distributed file system，HDFS)的分布式文件處理系統(tǒng)作為大數(shù)據(jù)的存儲框架，利用基于 MapReduce 的分布式計算技術作為大數(shù)據(jù)的處理框架。以分布式文件處理技術為基礎，使 PB、ZB 級的數(shù)據(jù)存儲成為可能;以分布式計算技術為基礎，使得 PB、ZB 級數(shù)據(jù)的查詢分析成為可能。另外該框架中還包含商業(yè)智能應用、傳統(tǒng)的數(shù)據(jù)倉庫、大數(shù)據(jù)訪問框架、大數(shù)據(jù)調度框架、網(wǎng)絡層、操作系統(tǒng)、服務器、備份和恢復、數(shù)據(jù)管理等模塊。

　　大數(shù)據(jù)存儲框架和大數(shù)據(jù)處理框架通常構建在通用的服務器、操作系統(tǒng)或者虛擬機上，使得該架構所需的硬件具有低成本和高擴展性的特點，標準的普通服務器或者 PC 機即可成為基于該架構的終端構成單元。大數(shù)據(jù)存儲框架和大數(shù)據(jù)處理框架之上是通過網(wǎng)絡層連接的大數(shù)據(jù)訪問框架，該訪問框架包含并行計算機編程語言 Pig、數(shù)據(jù)倉庫工具 Hive、開源數(shù)據(jù)傳遞工具 Sqoop 等子模塊。

　　3 電力大數(shù)據(jù)關鍵技術

　　3.1 電力大數(shù)據(jù)的集成管理技術電力企業(yè)數(shù)據(jù)集成管理技術是合并來自 2 個或者多個應用系統(tǒng)的數(shù)據(jù)，創(chuàng)建一個具有更多功能的企業(yè)應用的過程。從集成的角度來說，就是把不同來源、格式、特點、性質的數(shù)據(jù)在邏輯上或者存儲介質上有機地集中，為系統(tǒng)存儲一系列面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，從而為系統(tǒng)提供全面的數(shù)據(jù)共享。電力企業(yè)集成管理技術就是為解決電力企業(yè)內部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島而產生的[18]。

　　3.2 電力大數(shù)據(jù)的數(shù)據(jù)分析技術大數(shù)據(jù)技術的根本驅動力是將信號轉化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息提煉為知識，以知識促成決策和行動[12]。借助電力大數(shù)據(jù)的分析技術可以從電力系統(tǒng)的海量數(shù)據(jù)中找出潛在的模態(tài)與規(guī)律，為決策人員提供決策支持。麥肯錫認為可用于大數(shù)據(jù)分析的關鍵技術源于統(tǒng)計學和計算機科學等學科，包含關聯(lián)分析、機器學習、數(shù)據(jù)挖掘、模式識別、神經(jīng)網(wǎng)絡、時間序列預測模型、遺傳算法等多種不同的方法[19]。大數(shù)據(jù)研究不同于傳統(tǒng)的邏輯推理研究，是對巨大數(shù)量的數(shù)據(jù)做統(tǒng)計性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統(tǒng)計科學的一些特點，如統(tǒng)計學關注的數(shù)據(jù)相關性或稱關聯(lián)性，所謂 “相關性”是指 2 個或 2 個以上變量的取值之間存在某種規(guī)律性[7]。“相關分析”的目的是找出數(shù)據(jù)集里隱藏的關系網(wǎng)，一般用支持度、可信度、興趣度等參數(shù)反映相關性[7]。

　　3.3 電力大數(shù)據(jù)的數(shù)據(jù)處理技術電力大數(shù)據(jù)的數(shù)據(jù)處理技術包括分布式計算技術，內存計算技術，流處理技術等，這 3 種技術適用的對象和解決的主要問題如圖 5 所示。分布式計算技術是為了解決大規(guī)模數(shù)據(jù)的分布式存儲與處理。內存計算技術是為了解決數(shù)據(jù)的高效讀取和處理在線的實時計算。流處理技術則是為了處理實時到達的、速度和規(guī)模不受控制的數(shù)據(jù)。

　　4 大數(shù)據(jù)在智能電網(wǎng)中的應用案例

　　電力大數(shù)據(jù)的應用場合涵蓋發(fā)、輸、變、配、用、調等電力行業(yè)的各個環(huán)節(jié)，在風電場選址、降低網(wǎng)損、風電并網(wǎng)、電網(wǎng)安全監(jiān)測、大災難預警、電力企業(yè)精細化運營、電力設備狀態(tài)監(jiān)測等領域有非常強的可實現(xiàn)性。隨著智能電網(wǎng)建設的進一步推進，大數(shù)據(jù)技術在智能電網(wǎng)中將發(fā)揮越來越大的作用。下面通過幾個典型應用案例進一步闡述大數(shù)據(jù)在智能電網(wǎng)中的應用前景。

　　1)IBM 大數(shù)據(jù)技術在新能源接入中的應用。在電力生產環(huán)節(jié)，隨著新能源大量接入，打破了相對靜態(tài)的傳統(tǒng)電力生產，使得電力生產的管理和計量變得日趨復雜[10]。大數(shù)據(jù)技術能為電力企業(yè)做出更好的預測。丹麥的維斯塔斯風力技術集團，通過在世界上最大的超級計算機上部署 IBM 大數(shù)據(jù)解決方案，得以通過分析包括 PB 量級氣象報告、潮汐相位、地理空間、衛(wèi)星圖像等結構化及非結構化的海量數(shù)據(jù)，從而優(yōu)化了風力渦輪機布局，提高風電發(fā)電效率。

　　2)大數(shù)據(jù)技術在風電機組安全狀態(tài)評估中的應用。風電機組運行環(huán)境非常惡劣，受雷雨、鹽霧、冰雪等因素的影響[35]。采用基于大數(shù)據(jù)挖掘技術的風電機組安全經(jīng)濟運行狀態(tài)綜合評估系統(tǒng)，監(jiān)測零部件磨損、疲勞等原因引起的狀態(tài)變化信息，并由此識別和預測風電機組設備或者零部件的故障，提高機組的運行安全性，避免早發(fā)故障導致的更為嚴重的故障，并降低運維費用。基于大數(shù)據(jù)分析的風電機組潛在故障早期預警流程圖如圖 7 所示[35]。該預測系統(tǒng)以設備歷史數(shù)據(jù)和在線實時監(jiān)測數(shù)據(jù)為基礎，通過設備屬性配置定義創(chuàng)建設備超球模型，并用該模型在在線超球模型中評估設備狀況。在線評估模型的輸出是相似度曲線，用于關聯(lián)點排序、狀態(tài)預警和測點值的預測。

　　3)大數(shù)據(jù)技術在電網(wǎng)災難預警中的應用。隨著電網(wǎng)日益增加的復雜性和不斷變化的自然環(huán)境，電力系統(tǒng)中的災難性連鎖事故頻繁發(fā)生，這些災難性連鎖事故大多數(shù)始于系統(tǒng)某個元件故障[36]。大規(guī)模停電事故初期往往是少量元件相繼故障，在事故擴大階段則與電力系統(tǒng)中的脆弱環(huán)節(jié)有緊密的聯(lián)系，因此從整體預防的角度出發(fā)，通過大數(shù)據(jù)技術辨識電力網(wǎng)絡中的脆弱環(huán)節(jié)對提高電力系統(tǒng)的可靠性，降低大規(guī)模停電事故的發(fā)生概率有重要意義[37-38]。一個典型的基于大數(shù)據(jù)的電網(wǎng)災難預警系統(tǒng)框架如圖 8 所示[38]。該框架以電網(wǎng)拓撲數(shù)據(jù)、地理信息數(shù)據(jù)、電網(wǎng)運行數(shù)據(jù)為數(shù)據(jù)基礎，在算法模型層通過判據(jù)指標計算獲得判據(jù)指標庫，通過原因尋找引擎獲得原因分析樹，通過評價指標計算獲得評價指標庫。以此為基礎，在業(yè)務層通過薄弱區(qū)域識別、薄弱區(qū)域原因分析，并聯(lián)合判據(jù)層的評價指標庫，給出綜合預警結果[38]。

　　5 結論與展望

　　本文探討了大數(shù)據(jù)、云計算、智能電網(wǎng)三者之間的相互關系，并給出電力大數(shù)據(jù)的總體可執(zhí)行框架，對電力企業(yè)大數(shù)據(jù)平臺的搭建具有參考價值。本文闡述了電力大數(shù)據(jù)平臺中 4 個核心的關鍵技術，即集成管理技術、分析技術、處理技術、展現(xiàn)技術。大數(shù)據(jù)的集成管理技術應該考慮關系型和非關系型數(shù)據(jù)庫技術的綜合應用，并重點考慮 NoSQL 數(shù)據(jù)庫技術;大數(shù)據(jù)的分析技術應從大數(shù)據(jù)的治理與抽樣、大數(shù)據(jù)特征選擇、大數(shù)據(jù)小數(shù)據(jù)化、大數(shù)據(jù)的分類算法、大數(shù)據(jù)挖掘并行化等方面開展研究;大數(shù)據(jù)的處理技術應根據(jù)具體的應用需求考慮分布式計算、內存計算、流處理等技術;電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術可考慮可視化技術、空間信息流展示技術、歷史流展示技術等。文章最后的典型應用案例，對電力企業(yè)開展相關研究具有參考價值。

　　大數(shù)據(jù)技術可以在 5 個方面創(chuàng)造價值，分別是：創(chuàng)建透明度，讓利益相關方更加容易的獲取信息;通過試驗來發(fā)現(xiàn)需求，暴露可變因素并提高業(yè)績;根據(jù)客戶需求細分人群;通過自動化算法替換或者支持人為決策;創(chuàng)新商業(yè)模式、產品和服務。大數(shù)據(jù)技術在商業(yè)領域已經(jīng)獲得較為廣泛的應用并創(chuàng)造出巨大的商業(yè)價值，但是在電力系統(tǒng)中的應用才剛剛起步，因此結合大數(shù)據(jù)的技術優(yōu)勢和電力系統(tǒng)的應用需求，發(fā)揮電力大數(shù)據(jù)的價值，將為智能電網(wǎng)的建設帶來新的發(fā)展契機。電力企業(yè)應該牢牢抓住這個契機，從數(shù)據(jù)政策、人才培養(yǎng)、關鍵技術研發(fā)等層面，全面促成電力大數(shù)據(jù)技術的發(fā)展。

　　參考文獻

　　[1] Gartner.Top ten strategic technology trend for 2012 [EB/OL].(2011-11-05)[2014-08-17].http://www.gartne r.com.

　　[2] Birney E.The making of ENCODE：lessons for big-data projects[J].Nature，2012(489)：49-51.

　　[3] 張東霞，苗新，劉麗萍，等.智能電網(wǎng)大數(shù)據(jù)技術發(fā)展研究[J].中國電機工程學報，2015，35(1)：2-12. Zhang Dongxia，Miao Xin，Liu Liping，et al. Research on development strategy for smart grid big data[J].Proceedings of the CSEE，2015，35(1)：2-12(in Chinese).

　　《面向智能電網(wǎng)應用的電力大數(shù)據(jù)關鍵技術》來源：《中國電機工程學報》，作者：彭小圣 1 ，鄧迪元 1 ，程時杰 1 ，文勁宇 1 ，李朝暉 1 ，牛林 2