導 讀
通過借助新IT技術與水務應用結合，建立水務大數據標準規范、大數據采集系統、大數據交換中心、大數據云計算平臺、大數據應用支撐平臺、大數據創新應用系統及安全與備份系統等框架體系。為達到“三全”（大數據全過程覆蓋、全要素分析、全流程輔助決策）目標，力爭在水務行業生產、管網、服務、管理及安全等細分領域取得突破，最終實現水務企業從“大數據”分析演變為“大智慧”服務。
關鍵詞：水務大數據；水務云平臺；水務物聯網；大數據標準化；大數據場景應用
引用本文：羅賢偉，龐子山，譚松柏，等. 基于云計算的水務大數據平臺系統設計與實踐［J］. 給水排水，2022，48（1）：144-150.
借助新一代IT技術發展優勢，與水務行業結合，推動水務智慧化深入應用，在供排水領域數據具備4V的特征：體量大（Volume）、類型豐富（Variety）、價值密度低（Value）和實時在線（Velocity）。如此，也給水務企業在大數據領域的創新發展提出了新的更高要求。大數據融合IT技術和系統思維，再加上大數據場景應用，更加給水務行業帶來了新機遇和新挑戰。如今，“誰掌握了數據，誰就掌握了主動權”已是行業的共識。在這種背景下，建設水務大數據平臺，已成為水務企業發展的目標和增強核心競爭力優勢的重要手段，也是打造水務“智慧化”的重要體現。
01水務企業面臨的挑戰
結合水務行業自身的需求和特點，發現水務企業存在的主要問題和面臨的挑戰主要包括：
信息系統多且太分散，維護成本高；
數據標準不統一，無法實現統一共享，對數據的整合集成及互聯互通造成了阻礙，增加了信息整合的復雜度；
數據質量存在不可靠問題；
數據來源復雜，終端多而分散，導致數據采集及存儲的安全存在問題。
數據眾多，對于數據的分析處理能力有限，無法有效的進行更深層次的數據挖掘、利用和輔助決策支持。
02水務大數據平臺的建設目標和意義
水務大數據平臺建設以“1+1+1+X”（一個平臺，一個中心，一個標準，X項應用）模式為基礎，通過新IT技術應用，融合水行業需求，把“數字化”應用于公司治理與為民服務中，創造新型的管理與服務模式。在數據的價值創造與價值傳遞過程中，數據將價值鏈的更多環節轉化為戰略優勢，實現技術、物質、資金、人才、服務等資源的優化配置，進一步提升管理精細化、為民服務精準化和水務企業管理現代化的目標，數據驅動創新，讓大數據技術能力轉化為企業發展的新動力。
03水務大數據平臺系統規劃設計
3.1 水務大數據平臺頂層設計
系統總體架構的5個層次分別是全面感知層、基礎設施層、數據資源管理層、應用支撐層及系統應用層，且包括標準規范和安全保障及運維體系。系統總體架構如圖1所示。
圖1 水務大數據平臺頂層設計架構
3.2 標準規范建設內容
水務企業大數據平臺是一個大規模的建設工程。該項目以業務系統的相關數據為業務處理核心，以其他相關部門為信息交換對象，實現水務企業內跨部門的大型綜合與分布式的信息化系統。
面對這樣一個大型的信息項目，水務企業首先必須建立完善的標準體系和相關制度。保障水務大數據平臺建設標準的可持續發展能力，實現真正意義上的互聯互通，解決了數據統一標準、統一共享及統一運維體系的問題。水務大數據平臺建設標準規范由8個分部分構成：數據標準、數據集成標準、大數據分析指標規范、數據交換與共享規范、數據庫更新維護機制、管理制度、應用評估規范及信息安全保障體系。
3.3 大數據采集系統
大數據采集分兩個單元功能模塊，一個是終端的數據采集，另一個是服務端的數據匯聚共享交換。數據采集系統肩負著實時在線數據采集、業務系統數據整合集成及人工填報數據的收集工作，為提高集成效率，實現一體化物聯網采集平臺，集各類型數據采集任務于一體。數據獲取層級如圖2所示，系統設計以物聯網方式搭建感知網，解決并實現了一數一源、一源多用及分布式實時采集的功能。
圖2 數據獲取層級
3.4 大數據交換中心
搭建水務企業綜合數據庫（或中心數據庫）與大數據交換中心，實現水務企業各部門業務系統之間的數據共享交換，作為今后數據共享與交換的基礎支撐平臺。通過該平臺實現生產、管網、服務等數據共享、治理及挖掘，為企業管理提供決策數據。
基于統一匯集與共享交換平臺構建供水、排水、生產、營銷、管網、客服、項目和水質等數據的交換中心，系統主體架構分為源數據層、數據匯聚層、數據治理層、數據管理服務層、數據應用層、用戶層、標準體系、安全體系及運維體系。實現統一數據匯聚能力、數據服務能力和數據處理能力，為未來水務大數據微服務應用夯實基礎。
3.5 水務大數據云計算平臺
水務大數據云計算平臺是順應目前信息化技術水平發展、供排水服務職能改革的架構平臺，為決策提供及時、準確、可靠的信息依據，提高水務企業集團化工作的前瞻性和針對性，為水務企業生產運營管控提高決策支持效率和水平。
水務大數據平臺的建設目標是搭建私有云平臺，包括云平臺管理、服務器集群、存儲平臺等，滿足海量數據的采集、存儲、計算的需要，平臺必須具有高可用性、彈性且高擴展性、高可靠性要求。在大數據分析監測基礎上，為水務企業把握經濟發展趨勢、預見運營發展潛在問題、輔助決策提供基礎支撐。水務大數據云平臺的系統整體架構如圖3所示。
圖3 水務大數據云計算平臺系統架構
3.6 大數據應用支撐平臺
為各個應用系統提供應用支撐平臺系統，主要系統設計包括數據庫軟件、操作系統、統一視頻監控平臺、虛擬化軟件平臺、中間件、統一用戶認證、GIS平臺、大數據可視化平臺、大數據基礎能力平臺及云平臺管理軟件。這些軟件平臺系統均采用采購整體或組件的方式進行直接使用和二次開發，以符合大數據平臺的應用和管理需求。
3.7 大數據創新應用系統功能
3.7.1 大數據決策支持系統
系統設計既圍繞集團、公司及廠級等不同層級構建管理駕駛艙，又從業務和分析指標維度，建立分析視圖，最終以分類預警方式實現企業全局態勢掌控。
（1）集團級管理駕駛艙。面向水務企業集團管理層領導或監管部門，建設個性化“企業駕駛艙”門戶。從各業務系統抽取相關業務數據集成在對應的主管領導門戶中，如一些關鍵指標的分析展示等使領導可以及時、便捷的獲取所需的數據和文件，部門也可在第一時間將業務狀況展現給領導。主要功能包括：營業管理指標監控、生產績效指標監控及管網績效指標監控。
（2）公司級運營決策分析。公司級管理駕駛艙主要針對財務、人力、計劃、資產、投資項目等經營管控KPI進行分析、挖掘，并以各種圖表、曲線及雷達圖的形式展現企業運營態勢情況。支持從不同維度進行分析，如對歷史同往期業務對比等。主要功能包括經營管理分析、營銷管理分析及業務運營分析。
（3）廠級決策分析。廠級管理駕駛艙主要實現多維圖形展現方式，具體包括支持餅圖、柱圖、雷達圖、儀表盤、指示燈等主流圖形展現方式。支持綜合報表展現的展現方式，具體包括支持二維表、旋轉透視表等各種綜合報表的展現及監視。
（4）業務主題分析。業務主題分析匯集供排水生產、服務、營銷、工程建設及管理相關部門（包括供水管網、水廠和二次供水等）的實時和歷史數據、生產運行及調度相關的主要指標、視頻監控、報警和事件的面板信息呈現。
（5）大數據分析指標監測預警。以關鍵績效指標的目標值作為企業的一定時間區間內的業績目標，實現“智能知識庫”，根據設定各種指標的警戒值，在指標值不能很好的吻合目標值的時候，進行預警提示。
3.7.2 人工智能應用示范
鑒于人工智能應用，需借助大數據和云計算平臺，得以讓供水調度模型、污水處理廠工藝仿真建模及智能語音機器人等實時在線計算和應用功效發揮到極致。
（1）供水管網智能調度。在水力模型和仿真技術的發展過程中，勢必與全網自動化智能控制系統相關聯。壓力、流量、水質等管網感知儀表和視頻是智能供水系統的“千里眼”，壓力控制閥就是遠程“機械手臂”，模型仿真平臺就是通過分析“聽”到供水系統中的問題，在調度平臺中集合“智能的眼、耳、手”，打造未來的智能供水調度系統平臺，也為今后城市供水調度AI智慧大腦奠定了堅實的基礎。
（2）排水設備故障診斷系統。系統設計包括設備狀態監測、運行異常預警、設備綜合效率分析。①設備狀態監測：是對生產現場工作人員的設備進行實時監測的工具。可通過狀態監測對整個生產現場的設備狀態一目了然，可以快速定位到需要關注的設備，從而提升設備利用率。②運行異常預警：通過收集設備實時運行參數、故障記錄、點檢記錄等信息，運行異常預警模塊通過對設備的不同運行狀態進行建模，匯總分析多維實時參數，識別異常模式從而給出預警信號。③設備綜合效率分析：通過獲取設備的實時狀態，可以對設備異常狀態、累計停機時間超限等推送實時報警信息，并且支持自定義報警規則。提供客戶自定義時間范圍內設備時間利用率、性能利用率以及綜合效率的歷史數據查詢，同時對比展示各個效率指標與歷史平均值的對比可視化效果。
（3）污水處理輔助決策系統。污水處理過程工藝極其復雜，涉及數據種類眾多，污水處理過程涉及的數據處理、控制過程、工藝診斷與過程優化、運營成本分析等都與數據挖掘技術息息相關。數據挖掘是從大量的數據中提取出隱含的、未知的、潛在的有用信息的過程。水質預測：對污水處理廠設備和工藝等運行狀態分析，準確預測未來幾個小時的生產水質情況，提前為生產情況提供參考信息，以便及時調整，實現達標排放。對溶解氧、污泥濃度、進水水質、進水溫度等影響水質有關的參數提供調整和參考意見。
（4）智能語音服務機器人。語音識別技術是借助計算機算法機器人理解和識別人的語音并轉換為可讀的輸入。系統所設計的智能化語音識別，對于水務企業客服機器人的應用領域具有重要的創新意義：人工智能語音機器人，為水務企業“服務賦能”，標志著在水務企業AI技術領域的科技創新與行業應用開端。實現功能包括人機對話、查水費、自動派單、語言質檢及人工智能機器人的操作。
3.7.3 大數據可視化展示系統
水務大數據KPI集中展示，“總覽監管圖”以城市GIS地圖為背景，將對該地區的自來水廠、污水處理廠、供水管網、排水管網、建設項目及資金等專題信息進行集中展示與分析，為管理者提供決策支持。決策支持平臺對來自不同系統的生產、管網、服務與管理數據等進行梳理、轉換、分析，最終轉變成對決策更有價值的各種KPI指標，為決策過程提供支持視圖及分析結果展示。指標分析展現采用主題桌面的形式，通過儀表盤、直方圖、趨勢圖等多樣化的圖形結構對各類指標、數據進行展示。
3.7.4 互聯網+移動應用
基于互聯網+理念，設計水務通移動APP應用，讓水務大數據決策中心無處不在，一機在手，一查便有。系統設計功能主要包括數字水務地圖、供水指標監視、排水指標監視、數據指標曲線分析及數據指標報警。
3.8 安全與備份系統
結合企業需求、網絡與信息安全體系建設的實際情況，依據信息系統安全等級保護基本要求，建立企業信息安全機構、人員、制度、系統及運維管理等控制措施。系統按照三級等保要求保障數據安全、應用安全和系統安全。其中要設計考慮數據采集層、數據交換層、用戶端及移動終端等安全防護措施、已有安全資源利舊，且通過安全等保測評。
設計本地系統數據備份和綜合考慮同城備份或租用云災備中心系統，形成系統數據的異地災備方案，滿足災難恢復能力，并符合管理部門關于風險防范、備份和恢復的要求。
04水務大數據平臺建設項目實踐
4.1 項目背景
全球數據呈現爆發式增長，對經濟發展、社會治理、城市管理、人們生活都產生了重大影響。當今，越來越多的企業將“數字化轉型”視為契機，搶占新的制高點，變數據為資產。信息技術與水務業務管理的真正融合，是適應大數據時代的需要，在基于數字化實現精準運營的基礎上，融合生產、運營、管理等傳統業態，實現DT的變革與重構。
新時代的中國開啟了數字中國建設的新征程。面對日新月異的大數據戰略競爭態勢，水務企業結合自身需求加強統籌協調，圍繞國家大數據戰略做出實施創新驅動發展戰略決策，亟需建設創新型水務企業，為建設智慧水務大腦提供有力支撐。
4.2 項目建設目標
數據是大數據平臺的基礎，建立水務綜合數據庫和共享交換中心，優化信息共享流程，促進跨部門協同，有效避免信息不對稱造成的監管漏洞，有利于開展多個部門的聯合監管。依托水務大數據中心，形成數據共享和開放的工作機制與管理制度，建成企業數據統一共享交換和開放平臺，實現數據資源的全面匯聚和高效利用。結合企業“三全”戰略目標，充分利用數據賦能水務，挖據數據創新新動能，利用數據引擎帶動企業高質量、可持續發展。
4.3 項目建設范圍
項目設計范圍主要內容包括W水務所屬供排水企業的生產、營銷、管網、客服、項目和實驗室水質、視頻安防等數據的采集、集成與整合。項目涉及的主要單位范圍包括10多個二級公司和100多座廠站。
4.4 項目主要內容
水務大數據平臺建設項目總體建設內容主要包括七大方面：數據標準體系、水務物聯網與大數據中心、水務專有云計算平臺、大數據創新應用系統（大數據輔助決策、基于模型的供水管網智能調度、設備故障診斷、污水處理輔助決策系統、AI語音服務機器人、大數據可視化系統及移動應用APP）、系統集成、通訊網絡系統、信息安全與備份。
4.5 數據分析指標
W水務企業廠站眾多、地域分散，對水務集中管理來說，無疑是一個巨大挑戰，所以，水務集團亟需建立一套有效的管理工具，結合IWA國際認可的績效指標管理體系，建立W水務企業KPI績效指標，促進企業持續、健康和高質量發展。
項目建設一套完整的大數據分析指標規范，主要包括指標設計原則、指標篩選流程、指標定義說明及管理，數據分析指標分為兩大類：績效指標和過程指標。
（1）績效指標：設計為單項指標和復合指標。單項指標為一次數據指標；復合指標為派生數據指標，是經過運算獲取的結果值。所有的績效指標按層級分為集團級、公司級和廠站級，并區分重要、一般等級標識。項目構建了供排水KPI績效管理指標100多項，涉及類別包括：運行類、服務類、資產類、財經類、人事類、資源類、安全類及環境類。
（2）過程指標：均為單項指標及統計指標組成。過程指標構建了400多項要素指標。涉及水廠生產指標、污水處理廠生產指標、供水管網管理指標、排水管網管理指標、客戶服務指標、資產管理指標、財經管理指標、營銷管理指標、經營管理指標、工程建設指標及集團管控指標等11類全過程要素指標。
4.6 項目建設成效
W水務集團大數據平臺項目建設主要建設成效包括水務大數據物聯感知網、大數據云計算平臺、大數據創新示范應用、大數據分析指標規范及數據資源中心。
（1）構建了水務大數據物聯感知網：①構建物聯網感知終端采集系統：廠、站、網實時數據一體化采集，其中也包含人工填報、化驗、業務系統的數據對接及共享擴展接口。②構建物聯網感知服務端統一數據匯聚平臺：數據接入、視頻整合、數據處理、狀態監控及共享交換等統一匯聚，完成“數據暢通”。③未來可任意擴展供排水的設備、儀表、視頻、系統等多源數據對接。構建了“一數一源、一源多用”、“誰生產、誰管理”的管理思路，解決了數據多源頭、無維護的問題。
（2）構建了水務云計算大數據中心：①構建“數據云”：建立數據一體化平臺（提供大數據采集能力）：實現數據采集、存儲、處理及管理。②構建“設施云”：建立云資源池（提供彈性計算能力）：可彈性分配資源，按需供應，按需使用。③提升“應用云”：建立私有云構架平臺，構建了大數據計算、服務能力。④加強“云管理”：建立云平臺運維、安全防護體系和措施，建立云平臺運維團隊。
（3）建立了大數據創新示范應用系統：實現大數據計算與分析處理能力。①通過智能調度、設備故障診斷、水質預測、智能客服等四大應用，初步構建了供水、排水方面的大數據計算分析能力應用。②建立城市供水管網模型、故障診斷模型、污水處理廠工藝仿真模型、AI語音識別與語義能力模型。③讓供水調度更加科學；污水處理廠設備故障預判、降本增效；水質預測、安全達標排放；智能客服、高質量服務。
（4）建立了大數據分析指標規范：建立集團層、公司層和廠站層分析指標規范，構建了集團生產運營績效管理指標KPI和全過程管理指標。
（5）構建了水務大數據資源中心：建立了大數據平臺的基礎，數據運營是一個持續的數據資源價值利用的話題。存儲了生產、調度、設備、水質、服務、項目等相關的數據資源，建立數據資源共享目錄，為實現企業數據共享提供基礎服務能力。
4.7 項目經驗
4.7.1 項目實施過程中遇到的問題及解決方案
水務大數據平臺項目建設過程中遇到4個主要問題：一是數據可靠性問題；二是數據管理問題；三是非結構化數據（視頻）分析問題；四是多廠站多業務系統如何構建水務企業物聯網數據采集平臺。具體解決方案如下：
（1）數據可靠性解決方案：數據從水務集團二級單位獲取，二級單位從三級廠網單位獲取，三級單位從終端儀表設備獲取。為保障數據的可靠性，一是儀表精準可靠，二是軟件采集可靠。在線監測數據的可靠性需要從技術和管理兩個角度去把控，①通過數據處理技術優化實時數據來提高和保障數據的質量（如系統內置偏差，如跳點、噪聲數據的優化算法功能）。②通過管理人員審核負責制度確認數據的準確性和定期抽查督查，實現數據審核管控流程的閉環管理。
（2）數據的管理解決方案：從儀表中獲取的原始數據存儲在數據庫中，根據分析需求，進行數據治理和生命周期管理，以便今后數據對比分析。由原始數據產生的二次派生數據，應注明標識，以便區分，保障原始數據安全。
（3）視頻數據存儲輕量化解決方案：結合視頻結構化處理技術，極大地節約了非結構化數據存儲空間和網絡帶寬，提升了視頻利用效率。在監控終端上部署帶有邊緣計算功能的智能設備，實現監控終端完成視頻數據的結構化分析。當需要分析時，可隨時回傳分析結果給到服務端實現數據共享，以此達到快速分析管理的目標。視頻存儲及分析流程如圖4所示。
圖4 視頻存儲及分析流程
（4）水務物聯網數據采集平臺解決方案：水廠、污水廠、管網、二次供水、泵站等在線數據的采集，目前均采集到廠部調度中心、供水公司、排水公司、管網公司等，這些數據都分散存儲在各自所屬管理單位，造成了數據分散、信息孤島、整合集成困難的問題。基于未來水務物聯網數據采集平臺的考慮，采用“端到平臺+系統到平臺”方式進行數據匯聚。即：新建設備及儀表等終端統一匯聚到水務大數據物聯網數據采集平臺。歷史已建設的業務系統中已存儲的數據根據需求對接整合集成到本平臺。
4.7.2 實踐經驗總結
整個水務大數據平臺項目建設過程中，有一些經驗和啟發值得分享和借鑒：一是設計經驗；二是實踐難點啟發。
設計經驗分享，主要包括①數據治理應提前設計和實施，為實現精準大數據分析決策做鋪墊；②大數據分析指標規范，旨在建立績效KPI指標，為水務大數據分析和輔助決策提供抓手；③云計算平臺，定位要清晰，既非虛擬機，也非超融合一體機，而是要構建基于應用服務集群、數據庫服務集群和大數據服務集群等三大集群為核心的私有云計算平臺；④管理駕駛艙和輔助決策支持，它是一個成效體現窗口，應優先建設，并結合企業運營和管理需求，實現分主題、多維度、自定義可視化管理駕駛艙。
實踐難點啟發，主要涉及①人工智能應用成效不明顯，比如，供水管網模型所需的數據的數據缺失，對模型的模擬結果產生影響，啟發是管網模型所需的基礎數據應保持完整性、正確性、連續性和高質量；②數據采集，多廠站，不同廠商等廠站數據采集和集成問題，啟發是部分廠站數據測點Tag未知、數據格式差異等造成的復雜性，影響數據準確性及增加工作量；③設備故障診斷，啟發有3點，首先是考慮定位診斷高價值設備類型，其次是設備故障診斷需要配套對應的測軸溫、轉數、振動等參數的設備儀器和運行健康評價系統，第三是故障診斷的精準性和預知水平，與工藝、巡檢、電氣、環境溫度等息息相關，需較多品牌設備廠家的配合，因此，增加了該系統實施的復雜度。
05結語
綜上所述，城市水務大數據平臺建設，是企業智慧化水平提升的重要標志之一。逐步落實水務大數據平臺建設，提升城市水務核心競爭力，須持續加快基礎設施建設步伐，完善標準規范、信息安全與管理運維等信息化支撐體系，建立績效評估體系，創造良好的大數據發展環境。推進水務企業大數據平臺建設是建設服務型水務企業、高效運轉的有力措施。
對水務企業大數據平臺的數據資源進行有效整合，按照全局統一基礎架構平臺的指導思想，規范系統資源使用標準，在系統支撐平臺層提供更好的靈活性和擴展性，以滿足未來靈活、復雜、多變的集團化業務發展需要；建立“用數據說話、用數據決策、用數據管理、用數據創新”的管理機制，提升水務企業運營管理和服務能力；通過統一規則、統一標準、統一平臺，實現信息共享、智能分析、輔助決策，推進水務企業的信息對稱、高效運行和精準管理，最終實現水務大數據“三全”目標。
基于云計算的水務大數據平臺是一項復雜的系統工程，建設過程中和建成后的運行維護對相關技術人員的各項素質要求很高，因此需要建立一支技術過硬、反應迅速的技術保障團隊，加強對大數據平臺技術人員的培訓，以保證平臺建設工程的順利實施和建成后系統的安全可靠運行。
對原文有修改。原文標題：基于云計算的水務大數據平臺系統設計與實踐；作者：羅賢偉、龐子山、譚松柏、張曄明、蔣懷德；作者單位：上海市政工程設計研究總院（集團）有限公司、重慶水務集團股份有限公司。刊登在《給水排水》2022年第1期。