在某大(da)(da)型(xing)油田生(sheng)產(chan)管理(li)方案中，用戶需要實(shi)現生(sheng)產(chan)現場的(de)自動(dong)化(hua)采集(ji)與控(kong)制(zhi)、生(sheng)產(chan)視頻系(xi)統(tong)、工業(ye)物聯(lian)網、生(sheng)產(chan)數據(ju)服務、智(zhi)能化(hua)生(sheng)產(chan)管控(kong)應用以及各(ge)個環節的(de)信息化(hua)采集(ji)標準建(jian)設(she)等內(nei)容。在 TDengine 的(de)幫助下，該(gai)大(da)(da)型(xing)項(xiang)目成功完(wan)成了技術優(you)化(hua)升級(ji)。本(ben)篇(pian)文章將就本(ben)次優(you)化(hua)工作進行進一步的(de)分析解讀，給到大(da)(da)家參考。

TDengine 應用歷程

這個項(xiang)目此前的(de)應用系統主(zhu)要(yao)采用 Oracle 來存儲(chu)和處理時(shi)序數(shu)據(ju)(ju)，但隨(sui)著(zhu)使用時(shi)間的(de)增加，數(shu)據(ju)(ju)存儲(chu)量(liang)越來越大，實時(shi)數(shu)據(ju)(ju)存儲(chu)和處理的(de)問題(ti)日益凸(tu)顯，技術優化(hua)也遇到了瓶頸：

1. 在處理復雜查詢和聚合大數據集時寫入和查詢效率大幅衰減，系統出現明顯的性能下降；
2. 數據占用了越來越多的磁盤空間，給運維資源帶來較大壓力；
3. 分布式的企業管理模式下基于應用本身的數據協同效率低下，無法滿足企業應用的數據同步需求。

為了(le)(le)解決這些問題，用(yong)戶(hu)進行了(le)(le)多方技術方案(an)驗證，并最終選(xuan)擇使用(yong) TDengine 替換 Oracle 來(lai)存儲時序數據。通過 TDengine 的(de)邊云(yun)(yun)協同技術，實(shi)現(xian)了(le)(le)邊緣數據向云(yun)(yun)端的(de)實(shi)時匯(hui)聚。

接(jie)下來，我們(men)將(jiang)對 TDengine 應用(yong)的(de)主要場景(jing)進(jin)行深入分析。通過詳細(xi)探討(tao) TDengine 在各個應用(yong)場景(jing)下的(de)優(you)勢和(he)(he)應用(yong)效果(guo)，大家(jia)可以更好地了(le)解其在實際(ji)項目中的(de)價值和(he)(he)作(zuo)用(yong)。

場景一：數據質量提升

一(yi)(yi)般來說，在(zai)實際應(ying)用中(zhong)，生產現(xian)場(chang)采集的(de)(de)大量(liang)實時(shi)數(shu)(shu)據(ju)主要(yao)存儲在(zai)工(gong)控系(xi)統中(zhong)，對于(yu)支(zhi)撐應(ying)用的(de)(de)數(shu)(shu)據(ju)質(zhi)量(liang)難以保障。架構優化之后，現(xian)場(chang)實時(shi)數(shu)(shu)據(ju)將批(pi)量(liang)寫入(ru) TDengine（同批(pi)次數(shu)(shu)據(ju)包含不同井或設(she)備(bei)的(de)(de)數(shu)(shu)據(ju)）。這(zhe)一(yi)(yi)優化措施顯著提高了數(shu)(shu)據(ju)的(de)(de)準確性(xing)(xing)和一(yi)(yi)致性(xing)(xing)，進一(yi)(yi)步(bu)優化系(xi)統性(xing)(xing)能，確保數(shu)(shu)據(ju)的(de)(de)可靠(kao)性(xing)(xing)和完整性(xing)(xing)。

此外(wai)，TDengine 也實現了對非實時數據(ju)(ju)的(de)補錄，補錄中如(ru)果產生(sheng)數據(ju)(ju)碎片，以(yi)及(ji)日(ri)常使(shi)用中產生(sheng)的(de)數據(ju)(ju)碎片，均可以(yi)通過 compact 功能在線(xian)重整數據(ju)(ju)文件解(jie)決(jue)。

場景二：數據服務性能優化

我們依(yi)托多個(ge)參數(shu)(shu)的(de)歷史(shi)(shi)曲線(xian)查詢功能(neng)，通過(guo)數(shu)(shu)據(ju)(ju)分析和可視化能(neng)力，實現了對單井生產設備的(de)實時監控與歷史(shi)(shi)數(shu)(shu)據(ju)(ju)查詢。該功能(neng)主(zhu)要基于多參數(shu)(shu)的(de)數(shu)(shu)據(ju)(ju)源，涵(han)蓋了涉及 TDengine 和關系型數(shu)(shu)據(ju)(ju)庫的(de)多個(ge)數(shu)(shu)據(ju)(ju)源取值，通過(guo) TDengine 快速(su)高(gao)效的(de)查詢，獲取歷史(shi)(shi)數(shu)(shu)據(ju)(ju)并生成曲線(xian)圖。

通過自定義(yi)指標配置項，用戶可以根據實(shi)際(ji)需(xu)(xu)求調(diao)整(zheng)指標計算公式，生成個(ge)性化的結(jie)果(guo)數據，滿足不同層(ceng)級(ji)管理人(ren)員對(dui)數據展示的需(xu)(xu)求。

場景三：數據同步效率和存儲優化

在這(zhe)個重要環節，我們利(li)用到了 TDengine 邊(bian)云協同(tong)的重要特(te)性——即對多個不同(tong)的 TDengine 服務的全(quan)量歷史(shi)數據以及后(hou)續新增的數據，實(shi)時同(tong)步(bu)至(zhi)云端 TDengine。

作為 TDengine 的一部分(fen)，taosX 工具僅需要在(zai)數據(ju)接收方一側(ce)部署，僅需一行命令便(bian)可以(yi)完成實時同(tong)步、歷(li)史數據(ju)遷(qian)移(yi)，以(yi)及二者混合的三種數據(ju)處(chu)理方案。

例如：同步某臺服(fu)務器的 db1 的歷史(shi)數(shu)據以及實時數(shu)據到本地的 db2 數(shu)據庫僅需(xu)執(zhi)行如下一條(tiao)命令即可。

  taosx run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

另(ling)外，taosX 也提(ti)供了基于(yu)數(shu)據(ju)訂閱方式（利(li)用 TDengine 的(de) wal 日志）實(shi)時數(shu)據(ju)同步(bu)，以(yi)事件到達順序(xu)處理數(shu)據(ju)，無(wu)論(lun)是(shi)實(shi)時數(shu)據(ju)還是(shi)歷(li)史數(shu)據(ju)的(de)寫入(ru)，都會(hui)實(shi)時同步(bu)到目標集群，不會(hui)丟(diu)失補(bu)錄的(de)歷(li)史數(shu)據(ju)。

通(tong)(tong)過(guo)該方案的實施，多個 TDengine 服務通(tong)(tong)過(guo) taosX 跨省實時同步數(shu)(shu)據至(zhi)云端總部集群。目前 TDengine 總部集群存儲的數(shu)(shu)據量(liang)已經達到了 36 TB，總數(shu)(shu)據量(liang) 1034 億+條，壓縮(suo)率達到了 10% 以內(nei)。

寫在最后

對于該項(xiang)目來說，在將(jiang) Oracle 整體切換至 TDengine 之后優化效果明(ming)顯，主要體現在如下幾個(ge)方(fang)面(mian)：

1. 數據插入性能變高，硬件資源減少；
2. 集群支持在線水平擴展，輕松應對未來擴容需求；
3. 靈活定義數據的生命周期，方便過期數據管理；
4. 秒級 500 萬測點的同步速率，滿足了用戶邊云協同場景需求。

隨著邊云協同功能(neng)在各(ge)個復雜龐大(da)的(de)(de)業(ye)務場景(jing)下成功落(luo)地，TDengine 也展現出了(le)更(geng)強大(da)的(de)(de)數據(ju)處(chu)理(li)能(neng)力和(he)更(geng)靈活的(de)(de)架構，能(neng)夠(gou)更(geng)好地適應(ying)工業(ye)物聯網(wang)(wang)環(huan)境下復雜多變的(de)(de)數據(ju)處(chu)理(li)和(he)存儲需求，為工業(ye)物聯網(wang)(wang)的(de)(de)發展提供有力支持和(he)保障。