小 T 導讀：目(mu)前，北明天(tian)時已經(jing)在熱網監(jian)控和能源數(shu)據(ju)系統上(shang)應用(yong)了 TDengine Database，相比于 MySQL，當前在存儲和查詢上(shang)都獲得了顯著提升。在其(qi)(qi)他項(xiang)目(mu)中(zhong)，他們也正在加速 TDengine 對其(qi)(qi)他數(shu)據(ju)庫(ku)產品的替代。本(ben)文中(zhong)北明天(tian)時分享了關于 TDengine 的應用(yong)實踐，以供參考。

企業簡介

北明天時(shi)能源科(ke)技（北京(jing)）有限公(gong)司（簡稱北明天時(shi)）成立(li)于 2000 年，在 2015 年發(fa)展成為(wei)常山北明（股(gu)票(piao)代碼(ma)：000158）的(de)全(quan)資(zi)子公(gong)司。其以智慧能源服務(wu)(wu)為(wei)核心(xin)，聚(ju)焦政府能源監管(guan)系統(tong)、公(gong)共能源服務(wu)(wu)行業(ye)管(guan)控系統(tong)、園區和(he)企業(ye)綜合(he)能源管(guan)控系統(tong)的(de)建設和(he)服務(wu)(wu)，致(zhi)力于將云計算(suan)、大數據、物聯網(wang)和(he)人工(gong)智能等先進信(xin)息技術與業(ye)務(wu)(wu)應用深度融(rong)合(he)，為(wei)企業(ye)和(he)政府提供 “智慧、節(jie)能、低碳” 的(de)全(quan)集成解決方(fang)案和(he)一體化服務(wu)(wu)。

項目介紹

我們的智慧供熱項目最初是使用 MySQL 來存儲歷史數據，但隨著數據量的上升，查詢性能越發難以滿足業務需求。為了緩解現狀，我們開始研究 TDengine Database，在深入了解后發現它真的是一款適合物聯網的時序數據庫，甚至可以直(zhi)接(jie)使用 SQL 語句。于是(shi)在經過一段(duan)時間的測試后，我們果斷選擇將 TDengine 接(jie)入項目。

目前，我們已(yi)經在(zai)熱網監控(kong)和(he)能(neng)耗(hao)分析系(xi)統上(shang)應(ying)用(yong)(yong)了(le) TDengine，具(ju)體(ti)的(de)應(ying)用(yong)(yong)場景如下圖標紅處所示。

• 熱網監控系統

熱(re)(re)(re)網監(jian)控系統目前包括(kuo)熱(re)(re)(re)源監(jian)測和熱(re)(re)(re)力站(zhan)監(jian)控，用于(yu)實時遠(yuan)程監(jian)控熱(re)(re)(re)源、熱(re)(re)(re)力站(zhan)等(deng)的(de)運(yun)行狀(zhuang)態，將(jiang)供熱(re)(re)(re)數據進行可視(shi)化展(zhan)示，便于(yu)運(yun)行管理人員掌握整個(ge)供熱(re)(re)(re)系統的(de)運(yun)行狀(zhuang)況。

• 能耗分析系統

用于實時統計、計算和監測系(xi)(xi)統能(neng)(neng)耗，建立分級能(neng)(neng)耗評價(jia)體系(xi)(xi)，通過數(shu)據的同比(bi)、環比(bi)和指標完成(cheng)度評價(jia)，實現(xian)(xian)對系(xi)(xi)統能(neng)(neng)耗情況的全面分析。同時通過能(neng)(neng)耗排(pai)名(ming)找出能(neng)(neng)源(yuan)(yuan)浪費的關鍵點，有(you)針對性地進行改善與優(you)化控制，從而減少能(neng)(neng)源(yuan)(yuan)浪費，實現(xian)(xian)真正意(yi)義上的節能(neng)(neng)。

在分析之后(hou)可以發現(xian)，這兩(liang)個(ge)系(xi)統都有一個(ge)相同的(de)特點，即(ji)對數據的(de)實(shi)(shi)時(shi)查詢(xun)展示有很高(gao)的(de)需求，比如實(shi)(shi)時(shi)管理供熱系(xi)統、能耗(hao)趨勢實(shi)(shi)時(shi)呈(cheng)現(xian)等。

對(dui)于這種由設備產(chan)生的高頻時(shi)序數據的處理，TDengine 無疑是很合適(shi)的選擇。鑒(jian)于其顯著的改(gai)善(shan)效果，在其他項目中我們也(ye)正(zheng)在加速 TDengine 對(dui)其他數據庫(ku)產(chan)品的替代。

當然(ran)在落地的過程中我們也遇到(dao)過一(yi)(yi)些小(xiao)問(wen)題(ti)：比如，舊版(ban)本 TDengine 不支持對時間戳的 group by，經過升級(ji)后解(jie)決。再比如查詢(xun)時不同(tong)客(ke)戶端得(de)到(dao)的表結構并不一(yi)(yi)樣(yang)，這(zhe)是因為客(ke)戶端的各自(zi)緩存(cun)的元(yuan)數據不一(yi)(yi)致，通過 reset query cache 命令得(de)到(dao)了(le)解(jie)決。還有(you)一(yi)(yi)些日常的小(xiao)問(wen)題(ti)，我們都在 TDengine 的技術交(jiao)流群中得(de)到(dao)了(le)官(guan)方或社區網友的及時反(fan)饋和幫助。

一、效果分析

我們(men)以(yi) TDengine 2.2.2.0 版本落(luo)地了(le)一個三節點三副(fu)本的集群，機(ji)器配(pei)置為 16C + 32G + 1T 的機(ji)械硬(ying)盤。具(ju)體到(dao)實際路(lu)徑上，我們(men)的設備數據(ju)是先經過(guo)實時采集寫(xie)入 Kafka 后，再通過(guo) Python 連接器消費入庫的。

在當前環境下，我們共創建了 5,500 多張子表，存儲了大概九千萬行左右的數據，最大一張超級表的數據接近 7,300 萬行，單行大概 180 字節。即便是在三個副本的情況下，當前磁盤空間總共也只占用了 10.2G，再加上數據過期刪除的機制，我們基本不用再需要擔心磁盤存儲的成本問題了。

而內存和 CPU 的使用率，日常也都是分別維持在 1.9% 和 0.3% 左右，可以說是毫無壓力。

下圖是我們的熱網監控平臺查詢業務對應的 SQL，常用查詢基本都是毫秒級返回數據：

select sum(Ep) as Ep,sum(HM_HT) as HM_HT .............. interval(1d);

SELECT AVG(heatsourcepg) AS heatsourcepg,AVG(heatsourcetg) AS heatsourcetg,AVG(heatsourcef_mtrg) AS heatsourcef_mtrg .............. FROM iot_device.source_minute WHERE ts >="2022-04-06 12:00:00" AND ts <"2022-04-06 13:00:00.000" GROUP BY groupid,level

寫在最后

2019 年(nian)北明天(tian)時開(kai)(kai)始(shi)積極(ji)開(kai)(kai)拓智慧能(neng)(neng)源(yuan)(yuan)服務(wu)新市(shi)場，開(kai)(kai)發包含供(gong)熱、供(gong)冷(leng)、供(gong)電、供(gong)氣等(deng)能(neng)(neng)源(yuan)(yuan)綜合(he)管(guan)控系統(tong)和智慧水(shui)務(wu)監管(guan)平臺。一年(nian)之(zhi)后我(wo)(wo)們便正式(shi)引(yin)入了 TDengine 這款優秀(xiu)的開(kai)(kai)源(yuan)(yuan)時序數據庫（Time-Series Database），而 TDengine 也確實沒讓我(wo)(wo)們失望。今(jin)后，北明天(tian)時將和 TDengine 一起，為推動城(cheng)市(shi)能(neng)(neng)源(yuan)(yuan)高(gao)效利用、清(qing)潔能(neng)(neng)源(yuan)(yuan)替代、創建低碳(tan)智慧城(cheng)市(shi)持(chi)續做貢獻。

作者 | 賈苗苗，北明天時能(neng)源科技（北京）有(you)限公司研發工(gong)程師