數據倉庫、數據湖...智慧水務如(rú)何玩轉大(dà)數據？

大(dà)數據技術(shù)日(rì)益成熟，在各行業發揮了巨大(dà)的作(zuò)用，與水務行業的深度融合亦是智慧水務創新發展的趨勢。智慧水務大(dà)數據分(fēn)析标準以大(dà)數據構建和分(fēn)析标準爲主要内容進行研究，提出智慧水務大(dà)數據三層架構，初步構建分(fēn)析标準體(tǐ)系，爲水務企業智慧水務大(dà)數據建設和分(fēn)析應用提供參考資料。

0 引言

随着智慧水務的發展和水務數據的指數級别增長，水務企業面臨着嚴峻的數據管理(lǐ)問(wèn)題。将大(dà)數據技術(shù)及其應用分(fēn)析引入到水務行業，更好地挖掘和使用這些數據，将會釋放(fàng)出更多的隐藏價值。智慧水務大(dà)數據分(fēn)析通過集成和優化多個業務部門(mén)的協同應用，對水務企業整體(tǐ)的綜合績效和關鍵事(shì)件(jiàn)進行分(fēn)析和統一管理(lǐ)，從(cóng)信息集成平台接受并處理(lǐ)來(lái)自(zì)多個業務系統的數據，連續不斷地監控重大(dà)事(shì)件(jiàn)、預測趨勢并做出相(xiàng)應的輸出，對生(shēng)産運行進行量化考核，從(cóng)而實現決策的科(kē)學化，體(tǐ)現智慧水務建設對水務企業運營數據的深層次挖掘和應用。

智慧水務大(dà)數據平台能夠提高信息系統交互速度和質量，及時、準确、全面地掌握企業的整體(tǐ)狀況。但(dàn)是如(rú)何應用大(dà)數據技術(shù)，如(rú)何構建大(dà)數據架構，如(rú)何進行大(dà)數據分(fēn)析還(hái)缺乏指導規範，需要建設相(xiàng)關的平台構建标準和分(fēn)析指标體(tǐ)系。因此，研究智慧水務大(dà)數據構建和分(fēn)析标準能夠有力推動智慧水務建設和發展，能夠更好地幫助水務企業開展具有針對性的分(fēn)析、研究工(gōng)作(zuò)，有效地制定相(xiàng)關發展措施和建立相(xiàng)關考核體(tǐ)系，幫助水務企業制定科(kē)學的發展戰略。

1 智慧水務大(dà)數據建設目标

1.1 實現水務全要素信息采集和存儲

數據采集、存儲、整合是智慧水務大(dà)數據分(fēn)析的前提和基礎。運用大(dà)數據技術(shù)，幫助水務企業實現從(cóng)原水到水廠(chǎng)、從(cóng)管網到用戶等環節全方位、全要素的信息采集，消除信息孤島實現系統的互聯互通，實現海量數據的傳輸與存儲。構建智慧水務數據倉庫和數據湖，實現數據資源标準化、數據來(lái)源唯一化和信息流程簡潔化，對數據進行集中管理(lǐ)，實現大(dà)數據整合應用。

1.2 打造水務大(dà)數據資源标準和規範

智慧水務大(dà)數據的分(fēn)析應用，數據資源的标準化建設是重中之重，參考現有大(dà)數據的國(guó)家标準和行業規範，結合智慧水務對大(dà)數據标準化需求，提出了大(dà)數據标準體(tǐ)系框架（見(jiàn)圖1），具體(tǐ)的标準規範由水務企業按需梳理(lǐ)和建設。

圖1 智慧水務大(dà)數據标準體(tǐ)系

智慧水務大(dà)數據标準體(tǐ)系由7個類别的标準組成，分(fēn)别爲基礎标準、數據标準、技術(shù)标準、平台标準、應用标準、安全标準和管理(lǐ)标準。

基礎标準：爲整個标準體(tǐ)系提供包括總則、術(shù)語、參考架構和通用要求等基礎性标準。

數據标準：爲數據資源相(xiàng)關要素進行規範，包括數據資源規範和編碼分(fēn)類标準。

技術(shù)标準：爲大(dà)數據相(xiàng)關技術(shù)應用進行規範，包括描述評估、處理(lǐ)分(fēn)析和互操作(zuò)等技術(shù)應用标準。

平台标準：爲大(dà)數據平台應用、工(gōng)具産品進行規範，指導建設數據倉庫、數據集市、數據湖等涉及技術(shù)、功能和接口要求，包括數據平台和工(gōng)具平台等标準。

應用标準：爲大(dà)數據在水務行業所能提供的應用和服務制定的标準，包括數據交換共享、數據訪問(wèn)和數據應用等要求。

安全标準：爲保障大(dà)數據安全進行規範，包括通用安全和行業安全等要求。

管理(lǐ)标準：爲大(dà)數據管理(lǐ)制定的支撐體(tǐ)系，貫穿于大(dà)數據整個生(shēng)命周期，包括數據運維、數據治理(lǐ)和數據評估等要求。

1.3 構建水務大(dà)數據分(fēn)析平台和體(tǐ)系

利用大(dà)數據技術(shù)，構建水務大(dà)數據分(fēn)析平台并對水務運行管理(lǐ)狀态進行梳理(lǐ)，建立一套可(kě)量化、标準化的分(fēn)析指标體(tǐ)系，對城(chéng)市水務情況進行全面統計(jì)與深度分(fēn)析，爲數據消費者提供大(dà)數據服務。利用知識圖譜和深度學習技術(shù)，建立各個業務條線的分(fēn)析算法模型，挖掘水務行業海量數據中的潛在價值，提升水務企業科(kē)學決策能力。

2 智慧水務大(dà)數據構建标準

智慧水務大(dà)數據構建首先是明确業務場景和應用需求，從(cóng)而決定數據源和數據采集的範圍，并按照(zhào)數據資源的标準和規範進行數據整合；其次是确定大(dà)數據平台要具備的基本的功能，以此選擇大(dà)數據處理(lǐ)工(gōng)具和技術(shù)框架，并設計(jì)大(dà)數據中心的數據處理(lǐ)流程；最後是構建頂層的數據決策平台，選擇數據挖掘工(gōng)具并建立大(dà)數據分(fēn)析模型，提供各類大(dà)數據分(fēn)析應用。

因此，智慧水務大(dà)數據構建可(kě)分(fēn)爲數據整合、數據治理(lǐ)和數據應用三大(dà)步驟，對應的技術(shù)架構自(zì)下而上分(fēn)爲三個部分(fēn)（見(jiàn)圖2），分(fēn)别是數據層、大(dà)數據中心和數據決策層。

圖2 智慧水務大(dà)數據三層架構

（1）數據層。針對不同業務和應用系統進行分(fēn)析，制定數據采集範圍與目标，收集各系統産生(shēng)的全要素信息，将各種結構化、半結構化和非結構化數據進行整合，爲智慧水務大(dà)數據的分(fēn)析提供支撐。水務系統的數據通過數據層彙至大(dà)數據中心需經曆數據抽取、過濾、清洗、轉換和裝載等數據準備過程。

數據抽取：通過系統接口和ETL工(gōng)具進行數據集成，從(cóng)智慧水務體(tǐ)系各應用系統中抽取大(dà)數據中心需要的數據。

數據過濾：按照(zhào)相(xiàng)應規範和需求進行數據篩選，快(kuài)速高效地過濾出有價值的信息。

數據清洗：爲保持數據一緻性，需對數據無效值、缺失值、重複數據進行處理(lǐ)和加工(gōng)。

數據轉換：将數據按照(zhào)業務需求，轉換成大(dà)數據中心要求的形式。

數據裝載：将經過清洗和轉換之後的數據加載到大(dà)數據中心。

（2）大(dà)數據中心。智慧水務大(dà)數據中心彙聚了水務系統全要素信息數據，按照(zhào)數據資源集合形式可(kě)分(fēn)爲兩類：一類是數據倉庫和數據集市，主要存儲大(dà)數據技術(shù)治理(lǐ)後結構化的數據，數據倉庫主要包括主數據、元數據、參考數據和一般數據，數據集市是針對特定業務和場景需求進一步構造的數據倉庫子集，大(dà)數據中心中會有多個智慧水務業務條線的數據集市；另一類是數據湖，能夠存儲結構化和半結構化的數據，相(xiàng)較于數據倉庫存儲了更多的原始數據，數據不需要進行清理(lǐ)和轉換，能夠随時取用信息進行大(dà)數據分(fēn)析，具有廣泛數據發現和多維交叉分(fēn)析優勢。廣義上數據湖可(kě)以包含數據倉庫，但(dàn)在大(dà)數據中心架構中，兩者是互補互促的大(dà)數據應用格局。

（3）數據決策層。智慧水務大(dà)數據分(fēn)析常用方法有可(kě)視化分(fēn)析、預測性分(fēn)析、數據挖掘算法和語義引擎等，通過可(kě)視化數據分(fēn)析平台來(lái)直觀展示海量數據關聯，通過建立水務專業知識模型來(lái)預測未來(lái)狀态和風(fēng)險，通過信息集成來(lái)提供決策參考信息，通過爲已有數據添加語義來(lái)獲取非結構化數據的信息價值，最終爲水務企業提供預警預測、風(fēng)險識别、主動決策和綜合治理(lǐ)等分(fēn)析應用和數據服務。

3 智慧水務大(dà)數據分(fēn)析标準

2020年(nián) 1月，中國(guó)城(chéng)鎮供水排水協會發布的《中國(guó)城(chéng)鎮水務 2035年(nián)行業發展規劃》中指出“要明确智慧水務的概念、内涵及指标體(tǐ)系”，本文以供水行業爲例，結合國(guó)内供水行業的特點和大(dà)數據應用場景因素，将供水行業大(dà)數據分(fēn)析指标分(fēn)爲生(shēng)産、經營、管理(lǐ)和服務型四類，以構建供水大(dà)數據分(fēn)析的标準體(tǐ)系（見(jiàn)圖3）。

圖3 供水大(dà)數據分(fēn)析指标體(tǐ)系

（1）生(shēng)産型指标。城(chéng)市供水生(shēng)産的可(kě)靠性、持續性和高效運行關乎城(chéng)市供水安全，從(cóng)水源、水廠(chǎng)、管網、管網中途泵站(zhàn)、小區二次供水再到用戶，生(shēng)産鏈條環節上的大(dà)數據分(fēn)析指标，反映了供水企業生(shēng)産效率的高低、管理(lǐ)計(jì)劃執行等情況，有助于發現問(wèn)題并采取改進措施（見(jiàn)表1）。

表1 生(shēng)産型指标

（2）經營型指标。供水企業需要了解其經營管理(lǐ)、管理(lǐ)效率和經濟效益情況，制定供水管理(lǐ)、水表管理(lǐ)、抄表管理(lǐ)、收費管理(lǐ)方面等經營維度的大(dà)數據分(fēn)析指标，能夠幫助管理(lǐ)部門(mén)找出存在不足的和重點提高的地方，從(cóng)而提升供水企業的經營管理(lǐ)水平和經濟效益（見(jiàn)表2）。

表2 經營型指标

（3）管理(lǐ)型指标。在剖析供水企業管理(lǐ)需求和綜合提升的基礎上，重點從(cóng)綜合調度、工(gōng)程管理(lǐ)和安全管控三方面提煉大(dà)數據分(fēn)析指标，打破各業務部門(mén)獨立管理(lǐ)的數據流程壁壘，構建供水企業統一監管、全程管控的數據應用機(jī)制，進一步提升運營管理(lǐ)能力，降低運營管理(lǐ)成本（見(jiàn)表3）。

表3 管理(lǐ)型指标

（4）服務型指标。供水企業服務以供水用戶爲核心，提供客戶服務和供水保障服務，其大(dà)數據分(fēn)析指标一方面可(kě)以爲業務決策提供精準數據支撐，提升日(rì)常工(gōng)作(zuò)效率，另一方面經過深加工(gōng)的高價值數據能爲社會提供更多服務，進而實現大(dà)量沉澱數據的增值應用（見(jiàn)表4）。

表4 服務型指标

4 展望

智慧水務大(dà)數據分(fēn)析标準研究貫徹了國(guó)家大(dà)數據發展戰略，能夠幫助水務企業進一步推進數據資源整合共享，促進智慧水務大(dà)數據發展與創新應用。本文討(tǎo)論了智慧水務大(dà)數據分(fēn)析的初步構建标準和指标體(tǐ)系，兼顧了數據倉庫和數據湖并存的情況，爲智慧水務大(dà)數據融合創新建立了一定的基礎。

未來(lái)智慧水務大(dà)數據分(fēn)析應用需要緊密結合水務行業的研究熱(rè)點，通過大(dà)數據技術(shù)解決實際問(wèn)題，如(rú)生(shēng)産運行節能降耗、産銷差漏損管控、客戶主動服務等，水務企業還(hái)需進一步推進數據整合和利用，創新大(dà)數據應用，提升大(dà)數據價值，持續提高基于大(dà)數據分(fēn)析的管理(lǐ)能力和服務水平。