背景和痛點

MES 系(xi)(xi)(xi)統在(zai)持續(xu)擴展和深度應用的(de)過程中，出現(xian)了系(xi)(xi)(xi)統穩定性差，數據采集系(xi)(xi)(xi)統異常等(deng)情況(kuang)，主要體現(xian)在(zai)以下幾個(ge)方面：

1. 維護成本高，擴展能力差

Wonderware 平臺按(an)(an)年收取維護費用，采用按(an)(an)組件(jian)和授權(quan)等級(ji)計費的模式，且不支(zhi)持一次性買斷，軟件(jian)升級(ji)也需額外付費，整體(ti)成本高昂。由(you)于版本較舊(jiu)，部分(fen)技術(shu)問題難(nan)以及時解決，影響系統(tong)穩定性和生產效(xiao)率，限制了企業(ye)在信(xin)息化和智能化方向上的持續(xu)創新。

2. 部署發布效率低

原有 Wonderware 平(ping)臺采用傳統 CS 架構，需要專門(men)的客(ke)戶端(duan)安裝程序(xu)，部署與配置效率(lv)低，分布式(shi)能力不(bu)足。一旦(dan)系(xi)統需要更新(xin)，需對每臺服務器和操(cao)作(zuo)站逐一操(cao)作(zuo)，導致維護負擔大(da)、響應速度慢。

3. 存儲點數受限

現有需要采集和存(cun)儲(chu)的數(shu)(shu)據(ju)點大(da)約(yue)有 30W+，而(er) Wonderware 歷史數(shu)(shu)據(ju)的存(cun)儲(chu)能力(li)有限，無法支撐未來大(da)規(gui)模(mo)數(shu)(shu)據(ju)分(fen)析和信(xin)息化升級需求，成(cheng)為發展(zhan)瓶頸。

4. 對外接口單一

接口(kou)設計(ji)不夠(gou)靈(ling)活，當訪問數量過大，訪問客戶端鏈(lian)接過多，系統資(zi)源就容(rong)易被堵塞(sai)，直接影(ying)響實(shi)時數據(ju)(ju)的寫入和查(cha)詢(xun)性能，降低整體(ti)數據(ju)(ju)處(chu)理能力。

TDengine 帶來的 5 點價值

面對傳統(tong)架(jia)構在(zai)成本、性(xing)能與擴展性(xing)方(fang)面的(de)(de)種種瓶頸，MES 系統(tong)亟(ji)需一(yi)個更高效、更靈活的(de)(de)數據(ju)底座來支撐不斷增長(chang)的(de)(de)生產(chan)數據(ju)量和智能化升級(ji)需求。經(jing)過(guo)深入調(diao)研與測(ce)試(shi)，我(wo)們(men)最(zui)終選擇了 TDengine 作為核(he)心時序數據(ju)庫(ku)解(jie)決方(fang)案(an)，其優勢主要(yao)體現在(zai)以下幾個方(fang)面：

1. 成本可控，版本可持續升級：TDengine 支持永久授權模式和年費模式，在軟件有效期內，如客戶需對硬件升級改造，可以對 TDengine 進行軟件授權遷移，保護客戶投資，降低總體擁有成本。
2. 系統穩定，彈性擴展：作為專為時序數據設計的數據庫，TDengine 具備成熟的分布式架構，支持在線擴容與縮容，顯著提升系統的穩定性與靈活性，部署更高效，運維更輕松。
3. 高效存儲，性能卓越：TDengine 采用列式存儲與高效壓縮算法，大幅降低存儲空間占用。其寫入能力強，能夠承載高頻數據寫入需求，輕松應對百萬點位以上的數據采集與存儲需求。
4. 接口豐富，兼容性強：提供原生驅動、REST API、WebSocket 等多種訪問方式，支持 Java、Python、C/C++、C#、Go 等主流開發語言，具備良好的多并發處理能力，滿足實時查詢與系統集成需求。
5. 全面支持信創環境：TDengine 為 100% 國產自主研發，核心代碼開源，已適配麒麟、統信、凝思等國產 Linux 操作系統，支持 x86 與 arm64 架構，全面滿足政府與企業的信息安全及國產化替代要求。

TDengine 的落地實踐

在項目初期，MES 系統(tong)(tong)部署了(le)兩節點(dian)的 TDengine（版本 2.4，運行于 Ubuntu 系統(tong)(tong)），由 SCADA 系統(tong)(tong)采(cai)集設備數據并通過(guo)應(ying)用程序寫(xie)入 TDengine。環境(jing)監(jian)測系統(tong)(tong)則采(cai)用了(le)單節點(dian)的 TDengine 3.1 版本。

2023 年，我(wo)們對這兩(liang)套系(xi)(xi)統(tong)(tong)進行了(le)整合(he)(he)，統(tong)(tong)一為(wei)一套三(san)節點的 TDengine 集群，版本升級至 3.3，操作系(xi)(xi)統(tong)(tong)同步(bu)切換(huan)為(wei)國產(chan)麒麟。系(xi)(xi)統(tong)(tong)整合(he)(he)后，進一步(bu)提升了(le)數據處理能力和系(xi)(xi)統(tong)(tong)穩定性(xing)，更好地(di)支(zhi)撐(cheng)了(le)生(sheng)產(chan)、監測等核心業務。

在(zai)建模方面，我(wo)們采用“1 個點位(wei)對應(ying) 1 張(zhang)子表”的(de)方式，實時存儲來自卷煙機(ji)、包裝機(ji)、濾棒(bang)成(cheng)型(xing)機(ji)、切片機(ji)、加(jia)料機(ji)等制(zhi)絲生(sheng)產設(she)備的(de)數(shu)據，目前接(jie)入設(she)備已超過 10 萬(wan)臺，且(qie)仍在(zai)持續增長中(zhong)。這些數(shu)據既可(ke)用于實時查詢關(guan)鍵工藝參數(shu)（如水分、溫(wen)度等），也可(ke)用于分析(xi)當班生(sheng)產產量、剔除情況等，為生(sheng)產管理提供可(ke)靠的(de)數(shu)據支(zhi)撐。

新集(ji)群由 3 臺(tai)(tai)物理主機組成(cheng)，每臺(tai)(tai)主機配置(zhi)如下(xia)：

• CPU：64核
• 內存：128GB
• 磁盤空間：20TB

在建庫時(shi)，我(wo)們采(cai)用(yong)了 3 副本策略，有效保障了數(shu)據的冗余性和系統的高(gao)可用(yong)性。在完成(cheng)歷史數(shu)據平穩遷移后，數(shu)據采(cai)集程序與上層應用(yong)系統也順利完成(cheng)切換。

系統架構圖:

從架(jia)構圖中可以(yi)看出，采集到的時序數據隨后被寫(xie)入 TDengine 進行持久化(hua)存儲。

落地效果

目前，TDengine 集群已成功接入 SCADA 系統采集的 10 萬多個點位，累計存儲 3 年歷史數據，共計 1.8 萬億條記錄，僅占用整體存儲空間的 30%，預計可支撐 8 至 10 年的數據保存需求。

集(ji)群(qun)的存(cun)儲(chu)空間可根據(ju)需(xu)要進行動(dong)態擴(kuo)展，滿足后期更多(duo)設(she)備點位(wei)數(shu)據(ju)采集(ji)上來的存(cun)儲(chu)需(xu)求。本(ben)項目已驗證 TDengine 在煙草工業(ye)海量時(shi)序(xu)數(shu)據(ju)處(chu)理中的適(shi)用(yong)性(xing)，為(wei)行業(ye)數(shu)字化轉(zhuan)型提(ti)供了可復用(yong)的技術路徑(jing)。

運行優化與問題解決

在(zai)使用 TDengine 的過程中，曾一度發現(xian)存(cun)儲空(kong)間(jian)增(zeng)長較(jiao)快。經濤(tao)思數(shu)(shu)據(ju)售后團(tuan)隊協(xie)助分析，確認是由于應(ying)用程序寫入歷(li)史數(shu)(shu)據(ju)，導致數(shu)(shu)據(ju)文件中出現(xian)空(kong)洞(dong)和存(cun)儲放大等問題。這不僅降低了(le)存(cun)儲效率，也影響了(le)查詢(xun)性(xing)能。

為解決這一問題(ti)，項(xiang)目團(tuan)隊啟用(yong)了 TDengine 企業版提供的數據重整功(gong)能（data compact）。該功(gong)能能夠重新(xin)整理存(cun)儲(chu)的數據文件，刪除其中的空洞和無效數據，從而(er)提高(gao)數據的組織(zhi)度，進而(er)提升存(cun)儲(chu)和查詢效率。

具體排查與優化操作如(ru)下：

• 系統監控顯示存儲空間增長異常，占用了 75% 空間。

• 經過檢查文件編號和更新日期，發現某單個數據文件大小和寫入日期異常，可以判斷是應用側寫入了大量歷史數據，導致存儲放大。

• 手動執行 compact database 后，存儲空間使用恢復正常，性能也得到了大幅度的提升。

未來規劃與升級方向

當前系統采用“一個點(dian)(dian)位一張表”的(de)(de)單列(lie)模型(xing)，便于數據(ju)(ju)采集與管理。然而，在(zai)實際(ji)查詢過程中，采用寬(kuan)表多(duo)列(lie)模型(xing)更為(wei)方便，尤其(qi)是(shi)在(zai)跨(kua)(kua)點(dian)(dian)位、跨(kua)(kua)表的(de)(de)分析場景(jing)下，該(gai)模型(xing)存(cun)在(zai)一定(ding)的(de)(de)局(ju)限性。例如，跨(kua)(kua)表查詢需依賴復雜的(de)(de) JOIN 語句和(he)多(duo)次(ci)拼接(jie)操(cao)作，數據(ju)(ju)按時間(jian)戳對齊(qi)效(xiao)率低，查詢延遲明顯。

為解決上述問題(ti)，TDengine 在 3.3.6 版本中(zhong)引入了(le)虛擬(ni)表功(gong)能，真(zhen)正實現了(le)“一個(ge)設(she)(she)備一張表”的(de)設(she)(she)計理念。具備以下優(you)勢：

• 更簡單：用戶無需編寫復雜 JOIN + 嵌套查詢語句，通過虛擬表直接獲取跨表對齊數據
• 更快速：動態計算減少冗余存儲，歸并排序優化數據對齊效率
• 實時性：虛擬表實時反映原始表變更，支持毫秒級數據更新
• 易擴展：支持動態添加/刪除列，適配業務需求變化。

下一步，我(wo)們計劃將 TDengine 集群從當(dang)前的 3.3.2 升級至 3.3.6，充分(fen)利用虛擬(ni)表功能(neng)，以更高效地(di)支(zhi)撐未來日益增長的查詢分(fen)析需求。

關于昆明卷煙廠

昆(kun)明卷(juan)煙廠創(chuang)建于 1922 年，是中(zhong)國卷(juan)煙工業四大重點骨干(gan)企業之一。核心品(pin)(pin)牌“云煙”是中(zhong)國煙草行業首(shou)批同時擁有“中(zhong)國馳名(ming)商標”和“中(zhong)國名(ming)牌產(chan)品(pin)(pin)”的雙冠品(pin)(pin)牌。產(chan)品(pin)(pin)覆(fu)蓋中(zhong)高端市場，遠銷(xiao)海內外。