小 T 導讀：格(ge)創東智(zhi)(zhi)科技(ji)有限公(gong)司(si)(si)成立于(yu) 2018 年(nian)，孵化于(yu)中國 500 強企業(ye) TCL，是我國知名的(de)工業(ye)互聯(lian)網平(ping)臺服務(wu)商(shang)。公(gong)司(si)(si)依托 TCL 集團 40 年(nian)工業(ye)場景和(he)(he)制造(zao)基因沉淀，基于(yu)“面向(xiang)(xiang)工業(ye)現場”的(de)研(yan)發方(fang)(fang)向(xiang)(xiang)和(he)(he)“連接(jie)、協同、共享(xiang)”的(de)發展(zhan)理念，深度(du)融合人工智(zhi)(zhi)能(neng)(neng)、大(da)數(shu)(shu)據、云計(ji)算、物聯(lian)網等前沿技(ji)術，為(wei)智(zhi)(zhi)能(neng)(neng)工廠(chang)和(he)(he)制造(zao)業(ye)園區打造(zao)的(de)數(shu)(shu)字(zi)(zi)化能(neng)(neng)源(yuan)管(guan)(guan)理方(fang)(fang)案，可廣(guang)泛應用于(yu)多個垂直(zhi)行業(ye)，運行監控、能(neng)(neng)效管(guan)(guan)理、智(zhi)(zhi)能(neng)(neng)分析(xi)、運維管(guan)(guan)理、能(neng)(neng)源(yuan)采購(gou)、碳(tan)(tan)排放管(guan)(guan)理等數(shu)(shu)十個功能(neng)(neng)模塊，實現完善的(de)能(neng)(neng)源(yuan)管(guan)(guan)理價值(zhi)閉環，建立數(shu)(shu)字(zi)(zi)化能(neng)(neng)源(yuan)&碳(tan)(tan)計(ji)量(liang)體系，智(zhi)(zhi)慧化用能(neng)(neng)及碳(tan)(tan)管(guan)(guan)理系統，打造(zao)涵(han)蓋企業(ye)碳(tan)(tan)追(zhui)蹤、碳(tan)(tan)計(ji)量(liang)、碳(tan)(tan)管(guan)(guan)理、碳(tan)(tan)中和(he)(he)的(de)一站式解決方(fang)(fang)案。
TCL 空調能(neng)源數(shu)據(ju)管(guan)理(li)(li)平臺(tai)對工(gong)廠(chang)電、水、天然氣、油等(deng)指(zhi)標進行實時采集、動態監測，并以時間維(wei)度、廠(chang)家、車間、生(sheng)產線類型、生(sheng)產線、設備等(deng)維(wei)度進行分析、節能(neng)計(ji)量、計(ji)費、成(cheng)本核算、進行行業(ye)對標、生(sheng)成(cheng)分析報告等(deng)，實現(xian)企業(ye)能(neng)源精細化(hua)管(guan)理(li)(li)，促(cu)進節能(neng)降耗；實時監控(kong)用(yong)戶的用(yong)能(neng)安全數(shu)據(ju)，及時向安全管(guan)理(li)(li)人(ren)員發送報警(jing)信息，指(zhi)導其開展隱患治(zhi)理(li)(li)，為幫助企業(ye)實施用(yong)能(neng)安全及能(neng)源管(guan)理(li)(li)提供信息化(hua)服務。
G-Things 是我們的應(ying)用智(zhi)能平(ping)(ping)(ping)臺產品家族的物聯網平(ping)(ping)(ping)臺，我們先(xian)來看一(yi)下在該(gai)平(ping)(ping)(ping)臺上的數據流轉(zhuan)情況。
工業設備會將數據上報到平臺數據接入網關，然后接入網關負責解析報文，并過濾掉非法數據報文，之后再將數據下發到 Apache Kafka 消息中間件，由平臺實時處理、持久化服務進行消費，持久化服務會把最新數據寫入 Redis，并將數據持久化到時序數據庫（Time-Series Database）。對于平臺(tai)存儲架(jia)構(gou)，設計上支持 OpenTSDB、ClickHouse、TDengine 等(deng)時(shi)序(xu)數據(ju)庫的(de)切(qie)換(huan)，我們要根(gen)據(ju)項目實(shi)際情(qing)況來選(xuan)型。
一、存儲方案選型
我們看一下(xia)能源行(xing)業(ye)數據的特性：
- 數據的時序性：設備源源不斷地產生數據，這些數據會帶著時間戳上報到平臺
- 數據流量穩定：上報頻率比較穩定，采集頻率在 30 秒一次
- 數據是數值類型：是一些使用累計量、電流、電流、壓力之類的數據
- 數據不存在變更：數據是記錄某一時刻的采集表記數據，上報無需更新或刪除
- 數據的聚合及分析基于時間維度、空間維度：時間維度有年、月、周、日、時，最短 15 分鐘統計一次，空間維度有廠家、車間、生產線類型、生產線、設備等
- 數據量大：按一個工廠 4 萬表記計算，每 30 秒鐘一筆數據，一天采集的數據會超過 1 億條
基于能源行業(ye)的數(shu)據(ju)特性，我們(men)要(yao)在平臺(tai)支持的 OpenTSDB、ClickHouse 和(he) TDengine 這 3 個(ge)時序數(shu)據(ju)庫存儲引擎中作出選擇。下面(mian)是(shi)一(yi)個(ge)對(dui)比：
- OpenTSDB：依賴 HBase、HDFS 和 ZooKeeper 等組件，硬件資源要求高、成本高，在查詢時間跨度較大時，性能驟降，另外對聚合分析查詢支持不好。
- ClickHouse：在數據存儲、跨時間段查詢及數據聚合分析查詢等方面，都滿足我們的所有選型要求，但是運維成本太高，擴展過于復雜，使用的資源較多。
- TDengine：在數據存儲、數據分析查詢等方面都滿足我們的需求，并且集群版也開源了，支持橫向擴展，占用資源少，在客戶有限的資源條件下，是存儲引擎最優的選擇。
經過(guo)以上對比，我們選(xuan)擇了(le)將 TDengine 作為自己的存儲引擎(qing)。
二、TDengine 時序數據庫建模
TDengine Database 有兩個很獨特的創新，一個是“一個數據采集點一張表”，一個是“超級表”。所以(yi)在(zai)設計數(shu)據(ju)(ju)模型時，就要考(kao)慮業(ye)務模型怎么映射到超級(ji)表(biao)(biao)和具體的(de)表(biao)(biao)。 先來(lai)看超級(ji)表(biao)(biao)。 根據(ju)(ju)TDengine 數(shu)據(ju)(ju)庫(ku)的(de)特(te)性，我們(men)將(jiang)電表(biao)(biao)、水表(biao)(biao)、石油氣表(biao)(biao)、氧氣表(biao)(biao)，對每個類(lei)型的(de)數(shu)據(ju)(ju)采集點(dian)創建(jian)一個超級(ji)表(biao)(biao)。以(yi)創建(jian)電表(biao)(biao)為例：
再來看普通表(biao)。 每(mei)個(ge)數據(ju)采集點需要獨立建表(biao)。與標(biao)準的(de)關系型數據(ju)庫一樣，一張(zhang)表(biao)有表(biao)名(ming)，Schema，但(dan)除此之外，還(huan)可(ke)以(yi)帶(dai)有一到(dao)多個(ge)標(biao)簽。
三、實際應用總結
項目(mu)(mu)上(shang)線半(ban)年(nian)以(yi)來，一(yi)直平穩運(yun)行(xing)。 在(zai) TCL 空(kong)調(diao)能(neng)源管理(li)項目(mu)(mu)中，我們使用(yong)的硬件資源明顯(xian)減(jian)少，同(tong)選用(yong) ClickHouse 集群作為存(cun)儲(chu)的 TCL 電子(zi)工業物聯網平臺對(dui)比，兩個項目(mu)(mu)的數(shu)據(ju)規模差不多，TCL 空(kong)調(diao)能(neng)源管理(li)項目(mu)(mu)數(shu)據(ju)庫服(fu)務器減(jian)少了(le)一(yi)半(ban)。 我們以(yi)組(zu)態(tai)視圖的方(fang)式實(shi)(shi)現了(le)各系(xi)統運(yun)營參數(shu)可(ke)視化監控與實(shi)(shi)時查詢(xun)，實(shi)(shi)現了(le)完整的能(neng)源數(shu)字化管理(li)解決(jue)方(fang)案，提高了(le)運(yun)營管理(li)決(jue)策的效率。通過電、水、石油、天(tian)然氣使用(yong)分析，對(dui)工廠能(neng)源結(jie)構優(you)化和節能(neng)降耗，實(shi)(shi)現降能(neng)耗 5% 左(zuo)右，預計每(mei)年(nian)為 TCL 空(kong)調(diao)實(shi)(shi)現降本收益上(shang)千萬(wan)元。
在使用 TDengine Database 的過程中，我們也總結出一些經驗。 比如，TDengine 提供最后一條記錄的緩存，通過 last_row 函數可(ke)以快(kuai)速獲(huo)取(qu)實時數據。平臺在使用 TDengine 之前，用 Redis 來緩(huan)存最新的(de)一筆(bi)數據，而(er)大量的(de)寫入 Redis 對性(xing)能會(hui)有(you)一定的(de)影響(xiang)，現在用 TDengine cache 代替 Redis 緩(huan)存，可(ke)以完美(mei)解決這個(ge)問(wen)題(ti)。 另外(wai)，在使用過程中，TDengine 的(de)技(ji)(ji)(ji)術專(zhuan)家也提供了很多支(zhi)持。TDengine 有(you)自己的(de)技(ji)(ji)(ji)術交流(liu)微(wei)信群，非常活躍，很多技(ji)(ji)(ji)術問(wen)題(ti)都有(you)濤思數據的(de)專(zhuan)家親自答復(fu)，響(xiang)應非常快(kuai)速。
作者簡介
許(xu)海軍，目前(qian)負責 TCL AIoT 平(ping)臺整體技術架構開發(fa)，主(zhu)要從(cong)事工業互聯網、大數(shu)據(ju)系統開發(fa)，曾參與廣東示范級(ji)工業互聯網平(ping)臺建(jian)設等工作(zuo)。
