云鼎科技在其煤礦安全(quan)生(sheng)產綜合管控平臺中選擇應(ying)用 TDengine 實現數據的全(quan)面監(jian)(jian)(jian)控、分析(xi)和應(ying)用。通過利用 TDengine 的數據訂閱功(gong)能，該項(xiang)目成功(gong)減(jian)少了(le)(le)中間件的使用，提升了(le)(le)整體系統的可用性，并進一步提升了(le)(le)數據分發(fa)效(xiao)率。為了(le)(le)深(shen)入了(le)(le)解該項(xiang)目的改造細節，我(wo)們對云鼎科技工業互聯網(wang)事業部(bu)數據團隊總(zong)監(jian)(jian)(jian)李(li)志軍、產品(pin)開發(fa)中心總(zong)監(jian)(jian)(jian)助(zhu)理邵國(guo)鵬進行了(le)(le)采(cai)訪，根(gen)據采(cai)訪實錄(lu)生(sheng)成本篇文章(zhang)，給到大(da)家參考。

小T導讀

為確保煤礦(kuang)場景下生(sheng)產(chan)過(guo)程的(de)安全可靠，云(yun)鼎科技(ji)打造(zao)了安全生(sheng)產(chan)綜(zong)合(he)管控(kong)平臺。這一(yi)數據(ju)湖項目涉及(ji) 75 對(dui)礦(kuang)井、23 類 1100 余個系(xi)統(tong)的(de)工業數據(ju)采集(ji)，旨在(zai)(zai)實(shi)現數據(ju)的(de)實(shi)時采集(ji)、全面監控(kong)、深入(ru)分析和應用，挖(wa)掘數據(ju)價值，提高煤礦(kuang)生(sheng)產(chan)過(guo)程的(de)安全性與效(xiao)率。在(zai)(zai)經過(guo)系(xi)統(tong)調研與產(chan)品對(dui)比，云(yun)鼎科技(ji)決定(ding)在(zai)(zai)時序數據(ju)庫領域選擇(ze)合(he)適的(de)解決方案，以確保數據(ju)的(de)高效(xiao)存儲(chu)、快速查(cha)詢和可靠性。

當下市面上的時(shi)序(xu)數據(ju)庫產(chan)品眾多(duo)，云鼎科技在(zai)進行選(xuan)型調研(yan)時(shi)發現(xian)，單(dan)節點的時(shi)序(xu)數據(ju)庫存在(zai)多(duo)種問(wen)題(ti)，具體(ti)表現(xian)在(zai)：

• 數據庫節點故障會導致整個系統無法提供服務，繼而給公司以及客戶帶來損失。
• 服務器存儲故障會導致數據丟失，可能會造成無法挽回的資產損失。
• 性能拓展困難。隨著業務不斷發展會有更多的對于數據庫的性能要求，靈活的擴展機制會帶來更高的交付效率。

基于以上幾(ji)點(dian)(dian)因(yin)素，為實現穩定高效的(de)(de)數(shu)(shu)據處理效果，綜管(guan)(guan)平(ping)(ping)臺技術(shu)人(ren)員(yuan)在進行(xing)數(shu)(shu)據庫(ku)選型(xing)時(shi)重點(dian)(dian)要(yao)求時(shi)序(xu)數(shu)(shu)據庫(ku)需要(yao)具備集群(qun)架(jia)構、數(shu)(shu)據多副本(ben)(ben)、高壓縮比和(he)(he)(he)靈(ling)活的(de)(de)拓展方式。TDengine 在這些方面(mian)能(neng)夠完美滿(man)足要(yao)求，其分布(bu)式集群(qun)架(jia)構和(he)(he)(he)數(shu)(shu)據多副本(ben)(ben)機(ji)制(zhi)保證了數(shu)(shu)據的(de)(de)高可靠(kao)性和(he)(he)(he)容錯性，同(tong)時(shi)靈(ling)活的(de)(de)水(shui)平(ping)(ping)拓展方式使得系統能(neng)夠輕松應對(dui)數(shu)(shu)據量的(de)(de)增長和(he)(he)(he)業(ye)務需求的(de)(de)變化(hua)，為綜管(guan)(guan)平(ping)(ping)臺提供了穩定、高效的(de)(de)數(shu)(shu)據處理能(neng)力。?

數據架構的演進

在推進(jin)項(xiang)目的過程中，云鼎(ding)科(ke)技面臨著諸多數據集(ji)成(cheng)場景。由于(yu)時(shi)序(xu)數據集(ji)成(cheng)需要具備較高(gao)的時(shi)效性和穩定性，因此高(gao)效的數據集(ji)成(cheng)方案(an)成(cheng)為選擇(ze)時(shi)序(xu)數據庫的重要考(kao)量之一(yi)。此前(qian)云鼎(ding)科(ke)技曾嘗試過如下架(jia)構：

但(dan)這(zhe)一(yi)架構卻(que)面臨(lin)很多問(wen)題(ti)，具體表(biao)現(xian)在(zai)：

• 消耗了較多的服務器資源，部署成本較高。
• 時序數據的時效性保障較差，數據延遲較高，針對時效性要求較高的場景，無法較好的處理。
• 整體架構可用性較差，運維難度高，由于鏈路節點較多，各個節點都要保障穩定運行。

后續(xu)基(ji)于 TDengine 提(ti)(ti)供的數(shu)據(ju)訂閱功能(neng)，該項(xiang)目成功減少了(le)中間件(jian)的使用，提(ti)(ti)升了(le)整體系統的可(ke)用性，且在(zai)數(shu)據(ju)分發效能(neng)上有(you)了(le)進(jin)一步的提(ti)(ti)升。

在(zai)具(ju)體(ti)應用(yong)中，生產(chan)單位的(de)(de)采(cai)集(ji)系統(tong)首先將(jiang)數(shu)(shu)(shu)據(ju)(ju)采(cai)集(ji)至本地的(de)(de) TDengine 數(shu)(shu)(shu)據(ju)(ju)庫中，隨(sui)后，IoT 平(ping)臺將(jiang)本地 TDengine 中的(de)(de)數(shu)(shu)(shu)據(ju)(ju)同步至集(ji)團(tuan)端的(de)(de) TDengine 集(ji)群中。經(jing)過(guo)集(ji)團(tuan)端數(shu)(shu)(shu)據(ju)(ju)治理系統(tong)的(de)(de)處理，工業(ye)數(shu)(shu)(shu)據(ju)(ju)為上(shang)層應用(yong)提(ti)供了(le)數(shu)(shu)(shu)據(ju)(ju)服務支(zhi)(zhi)持。這一(yi)(yi)項(xiang)目成功實(shi)現了(le)對涉及煤炭(tan)領(ling)域(yu)工業(ye)數(shu)(shu)(shu)據(ju)(ju)的(de)(de)采(cai)集(ji)、存儲和分析(xi)應用(yong)，為生產(chan)過(guo)程提(ti)供了(le)可靠的(de)(de)數(shu)(shu)(shu)據(ju)(ju)支(zhi)(zhi)持，進一(yi)(yi)步提(ti)升了(le)生產(chan)效率和管理水平(ping)。

當前系統(tong)數據架(jia)構如下圖(tu)所示：

實施過程中的一些問題與解決路徑

在云鼎科技應用集成的場景中，最初 TDengine 僅被用作時序數據存儲和查詢的數據庫。后面隨著業務擴展，出現了告警類需求。為了滿足這些需求，云鼎科技項目組曾單獨建立了告警服務程序，但由于某些消息中間件無法持久化數據，導致告警服務必須一直在線，不僅存在丟失告警的風險，而且升級維護復雜。隨后，項目組決定利用 TDengine 新版本的流計算能力，將部分告警業務交由流計算來實現。這一改進簡化了架構，實現了在數據庫端就能完成部分告警生成的功能，極大減輕了服務端開發壓力。

TDengine 的部署和(he)實施過(guo)程相對順(shun)利，主要遇到(dao)了兩個(ge)關鍵(jian)問題，通過(guo)云(yun)鼎科技(ji)項目組和(he) TDengine 技(ji)術專(zhuan)家的緊密合作和(he)共(gong)同(tong)努力，這些(xie)問題都(dou)得以圓滿解決(jue)。

數據寫入問題：根據(ju)(ju)綜合管(guan)控平臺(tai)(tai)技術(shu)規格書對時序(xu)數(shu)據(ju)(ju)庫性(xing)(xing)能(neng)的(de)(de)要求，高寫(xie)(xie)入性(xing)(xing)能(neng)至關重要。云鼎在初期(qi)使(shi)用 TDengine 時采(cai)用實時寫(xie)(xie)入模式，即(ji)每當一個(ge)測點(dian)的(de)(de)實時數(shu)據(ju)(ju)到(dao)來時立即(ji)寫(xie)(xie)入 TDengine，過(guo)程中發現寫(xie)(xie)入性(xing)(xing)能(neng)未達預期(qi)。后經過(guo)與 TDengine 技術(shu)專(zhuan)家的(de)(de)交流后，改為批(pi)量寫(xie)(xie)入模式，即(ji)將多個(ge)測點(dian)的(de)(de)數(shu)據(ju)(ju)組成(cheng)一個(ge)大(da)的(de)(de)數(shu)據(ju)(ju)插入語句后執行寫(xie)(xie)入操作，進一步提升了數(shu)據(ju)(ju)的(de)(de)寫(xie)(xie)入性(xing)(xing)能(neng)，滿足(zu)了平臺(tai)(tai)需求。

在推進(jin)(jin)整體(ti)數據(ju)架構(gou)和應用程序整合 TDengine 過程中，該項目(mu)遇到了(le)由版(ban)本(ben)升級導致 TDengine 客(ke)(ke)戶端(duan)無法連(lian)接(jie)的(de)問(wen)題。TDengine 技術專家(jia)建議(yi)采用新的(de) JDBC-RESTful 連(lian)接(jie)方式，后經實踐驗證，成(cheng)功(gong)解(jie)決了(le)上(shang)述問(wen)題。服(fu)務(wu)端(duan)在滿足性能要求的(de)前提下，減少了(le)因數據(ju)庫版(ban)本(ben)升級導致的(de)客(ke)(ke)戶端(duan)連(lian)接(jie)變更，進(jin)(jin)一步提升了(le)生產環境(jing)的(de)穩定性。

數據遷移經驗分享

在(zai)(zai)數(shu)據(ju)(ju)架構(gou)改造過(guo)程中(zhong)(zhong)，數(shu)據(ju)(ju)遷移(yi)是一(yi)個至關(guan)重(zhong)要的(de)環節。通(tong)過(guo)精心(xin)規劃和優化(hua)數(shu)據(ju)(ju)遷移(yi)策略(lve)，確保(bao)(bao)數(shu)據(ju)(ju)的(de)安(an)全性(xing)和完整性(xing)，是實(shi)現數(shu)據(ju)(ju)架構(gou)改造順利(li)進(jin)行的(de)關(guan)鍵一(yi)步。在(zai)(zai)推進(jin)綜(zong)管平(ping)臺一(yi)期數(shu)據(ju)(ju)湖項目的(de)過(guo)程中(zhong)(zhong)，為(wei)了充分利(li)用 TDengine 新(xin)版(ban)本的(de)功能(neng)，數(shu)據(ju)(ju)遷移(yi)工作也在(zai)(zai)有(you)條不紊地展開。為(wei)了盡可能(neng)保(bao)(bao)障(zhang)老(lao)版(ban)本 TDengine 能(neng)夠正常提供服務以及保(bao)(bao)障(zhang)新(xin)老(lao)版(ban)本數(shu)據(ju)(ju)庫的(de)數(shu)據(ju)(ju)一(yi)致，該項目采用了如下步驟：

創建(jian)數據(ju)寫(xie)(xie)入(ru)服務以支持雙寫(xie)(xie) TDengine，可(ke)以將數據(ju)同(tong)時寫(xie)(xie)入(ru)老版本(ben)和新(xin)版本(ben)的 TDengine 數據(ju)庫。

獲取新版(ban)本和(he)老版(ban)本數(shu)(shu)據(ju)庫的(de)某段時間內的(de)歷史時序數(shu)(shu)據(ju)，然后(hou)對數(shu)(shu)據(ju)進行(xing)校驗(yan)和(he)處理后(hou)進行(xing)結(jie)果比較，多次采樣并(bing)進行(xing)校驗(yan)后(hou)的(de)結(jie)果均顯示數(shu)(shu)據(ju)的(de)一致性可以保障。

上線支持新版本數(shu)(shu)(shu)(shu)據庫(ku)的數(shu)(shu)(shu)(shu)據任(ren)務(wu)，觀察數(shu)(shu)(shu)(shu)據任(ren)務(wu)執行(xing)(xing)效(xiao)果(guo)，并(bing)觀察應用側數(shu)(shu)(shu)(shu)據是否一致。運行(xing)(xing)一段時間并(bing)確認(ren)數(shu)(shu)(shu)(shu)據一致后(hou)，停(ting)(ting)止(zhi)(zhi)老版本數(shu)(shu)(shu)(shu)據任(ren)務(wu)的執行(xing)(xing)，隨(sui)后(hou)停(ting)(ting)止(zhi)(zhi)雙寫，最后(hou)停(ting)(ting)止(zhi)(zhi)老版本 TDengine 運行(xing)(xing)。

基(ji)于上述步(bu)驟，該(gai)項(xiang)目(mu)成(cheng)功(gong)完成(cheng)了(le)數據(ju)的(de)切換，同時確保(bao)了(le)線(xian)上系統(tong)的(de)正(zheng)常運行。在綜管平臺一期項(xiang)目(mu)中，TDengine 正(zheng)常運行，日增量數據(ju) 2.5 億條，產品穩定性及性能符合既定的(de)設計預期。后續基(ji)于 TDengine 構建的(de)工業數據(ju)分級(ji)預警系統(tong)等也成(cheng)功(gong)實現落地(di)。

目前，云鼎科技以TDengine作為物聯網平臺時序數(shu)據存儲的(de)核心(xin)，構建(jian)了(le)(le)云端協同(tong)的(de)時序數(shu)據存儲和傳輸體系。在滿(man)足生產單位(wei)的(de)時序數(shu)據使用需求的(de)同(tong)時也支(zhi)持了(le)(le)集團時序數(shu)據分析應用的(de)建(jian)設。在生產單位(wei)以及集團均部署(shu)了(le)(le) TDengine 實例，既(ji)保障了(le)(le)各方的(de)需求也能夠提供(gong)最好的(de)性能。

總結與期待

未(wei)(wei)來(lai)(lai)云(yun)鼎科技還將會在(zai)電(dian)力(li)、化工(gong)等產業相(xiang)關的生產管(guan)理系(xi)統以及集(ji)中監(jian)控系(xi)統中繼續驗證和嘗(chang)試使用(yong) TDengine 相(xiang)關的能(neng)力(li)，并會與濤思(si)數據(ju)的技術專家一(yi)道在(zai)未(wei)(wei)來(lai)(lai)的新場景(jing)中加(jia)強溝通與協作。

在對該(gai)項目(mu)進行總(zong)結評價(jia)時，云(yun)鼎科技工(gong)業互(hu)聯網(wang)事業部產(chan)品開發中心總(zong)監助(zhu)理邵國(guo)鵬表(biao)示(shi)，“在 TDengine 的(de)使用和集(ji)成(cheng)過(guo)程中，濤思(si)數(shu)據的(de)技術(shu)專家通過(guo)多種溝(gou)通方(fang)式，及時解決了許(xu)多問(wen)題，提(ti)供了大量(liang)幫助(zhu)，為項目(mu)的(de)推進提(ti)供了良(liang)好(hao)支持。未來(lai)我(wo)們(men)希望更(geng)進一步(bu)深入客戶場(chang)景乃至拉通同類(lei)型的(de)客戶參(can)與溝(gou)通交流(liu)，共同分享(xiang)場(chang)景落地中遇到(dao)的(de)問(wen)題以及最(zui)佳(jia)實踐，從而進一步(bu)共建圍繞時序數(shu)據庫的(de)業務(wu)生態。”

同時工(gong)(gong)業(ye)(ye)互聯網事業(ye)(ye)部數(shu)(shu)(shu)(shu)據(ju)(ju)團隊(dui)總監(jian)李志軍(jun)對(dui) TDengine 的(de)未(wei)來發展也(ye)表(biao)達(da)了自己的(de)期待，“為拓展在 AI 領域的(de)應用場景， TDengine 可進一步加強與AI技術的(de)集成(cheng)能力(li)，結合數(shu)(shu)(shu)(shu)據(ju)(ju)治(zhi)理理論(lun)，提升(sheng)數(shu)(shu)(shu)(shu)倉建設、數(shu)(shu)(shu)(shu)據(ju)(ju)建模(mo)、數(shu)(shu)(shu)(shu)據(ju)(ju)服務等方(fang)面能力(li)，以充分(fen)發揮(hui)時序數(shu)(shu)(shu)(shu)據(ju)(ju)的(de)價值(zhi)。同時，提高(gao) TDengine 的(de)開放能力(li)也(ye)至關重要(yao)。這包括更開放的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)格式、多樣化(hua)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)集成(cheng)模(mo)式、靈活(huo)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)遷移(yi)模(mo)式和(he)高(gao)效(xiao)的(de)數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)發模(mo)式，以讓客(ke)戶(hu)(hu)選(xuan)擇更多適合其需求的(de)方(fang)案，使 TDengine 更好地融入客(ke)戶(hu)(hu)現(xian)有系統(tong)架構(gou)。在提升(sheng)系統(tong)穩定性(xing)方(fang)面，可借鑒國際知名工(gong)(gong)業(ye)(ye)數(shu)(shu)(shu)(shu)據(ju)(ju)庫的(de)經驗，進一步強化(hua) TDengine 的(de)穩定性(xing)和(he)可靠性(xing)，以更好地滿足工(gong)(gong)業(ye)(ye)場景對(dui)系統(tong)的(de)需求。”

企業簡介

云鼎(ding)科技股(gu)份(fen)有限公司是(shi)山東能(neng)(neng)源集(ji)團旗下專注于(yu)信息(xi)技術服(fu)務和工業智能(neng)(neng)化應用的A股(gu)主板上(shang)市公司，致(zhi)力(li)于(yu)為礦山、電力(li)、化工、新能(neng)(neng)源等行業提供(gong)數字化解決方案，是(shi)煤炭行業信息(xi)技術頭部企業、山東省首批網絡安全重點企業。

采訪嘉賓簡介

• 李志軍：云鼎科技股份有限公司 工業互聯網事業部 數據團隊總監 
• 邵國鵬：云鼎科技股份有限公司 工業互聯網事業部 產品開發中心總監助理