作者:李軍/三禾一科技
安徽三禾一(yi)信(xin)息(xi)科技有限公(gong)司(以下簡稱三禾一(yi)科技),專業從事大數據行業應用及工業互聯網解決(jue)方案(an),致力于攜手(shou)各行業客戶共同發(fa)現產業新價值(zhi)。目前(qian),三禾一(yi)科技自(zi)研的3H1高(gao)端裝(zhuang)備運維服務平臺已(yi)經成功應用在高(gao)端裝(zhuang)備制(zhi)造、汽車制(zhi)造、環保設備、色(se)選機械(xie)、水(shui)泥行業等領域(yu)。
高(gao)端成(cheng)形裝(zhuang)備(bei)是國家的戰略性支柱產業,應用于汽車、石化(hua)(hua)、航空、航天、軍(jun)工、工程機械(xie)、家用電器等國民經濟(ji)發(fa)展中的重(zhong)要領(ling)域,是許多(duo)重(zhong)大工程的基礎。當前,新一代信息(xi)技(ji)術的快速發(fa)展,使得高(gao)端成(cheng)形裝(zhuang)備(bei)制造業正(zheng)處(chu)于由(you)數字化(hua)(hua)、網絡(luo)化(hua)(hua)向(xiang)智能化(hua)(hua)發(fa)展的重(zhong)要階(jie)段(duan)。
作為一個高(gao)(gao)端裝備運維服(fu)務平臺,3H1的底層物聯(lian)網數(shu)據(ju)庫(ku)要支持數(shu)百家企業(ye)、數(shu)十萬設備的接入(ru),此前(qian)一直采用(yong)開源的InfluxDB,原(yuan)因是(shi)在(zai)其(qi)(qi)單機版本基礎上可以擴展多實例分庫(ku)架構,但在(zai)使(shi)用(yong)過(guo)程中(zhong)一些缺點也逐漸暴露,如硬(ying)件成(cheng)本較(jiao)高(gao)(gao)、維護難(nan)度較(jiao)大,不(bu)便于(yu)橫向擴展。所(suo)幸(xing)后來遇到10倍高(gao)(gao)性能(neng)數(shu)據(ju)庫(ku)TDengine,經多次試驗(yan)其(qi)(qi)各項(xiang)指標均滿足業(ye)務需求,便一直使(shi)用(yong)至今。
為什么選擇TDengine?
在裝備行(xing)業物(wu)聯網場景下實時數據量巨大,包(bao)括溫度、壓力、振動、位(wei)移等眾多(duo)參數,針對(dui)這些參數如何(he)進行(xing)分析和預警都是難(nan)點(dian)。這些需(xu)求概況(kuang)如下:
- 高并發數據寫入,每條記錄都需要帶時間戳;
- 不同傳感器設備需要記錄的數據字段不同,希望能夠針對不同設備單獨建表;
- 原始數據存儲要求在5年以上,需要支持數據壓縮,以降低數據存儲成本;
- 支持國產化,支持數據庫廠商服務快速響應。
選(xuan)用(yong)(yong)TDengine Database社區版2.2.1.1進行分布(bu)式模擬試驗(yan),用(yong)(yong)到了(le)3臺配置(zhi)如下(xia)的服務器:
| 組件 | 配置描述 |
| CPU | 4核 |
| 內存 | 15G |
| 硬盤 | 4T |
| 操作系統 | CentOS Linux release 7.6 |
| 網絡 | 內網 |
測試一:驗證時序數據庫產品3臺數據庫節點時序數據寫入性能
模擬2個廠區共10個車(che)間的(de)數(shu)據(ju)、每(mei)(mei)個車(che)間1000個監(jian)測點,每(mei)(mei)個監(jian)測點從2017-07-14 10:40:00.000開始(shi)寫(xie)入(ru)模擬(ni)數(shu)據(ju),記錄時間戳間隔(ge)0.001秒,每(mei)(mei)個測點寫(xie)入(ru)500000條記錄。
8線程寫(xie)入(ru),在寫(xie)入(ru)超過50億條(tiao)記錄后停止(zhi)了寫(xie)入(ru)程序。本次測(ce)試對50億條(tiao)數(shu)據記錄的寫(xie)入(ru),平均寫(xie)入(ru)速度達到191萬條(tiao)/秒。

| 條數/秒 | 總時延(秒) |
| 5000000000/2606= 1918635.03 | 2606.0193 |
測試二:驗證時序數據庫產品3臺數據庫節點時序數據壓縮能力
在測(ce)試一的基礎上(shang),查看(kan)3臺數據庫節(jie)點實(shi)際文件大小,如下:



落盤后所有文件大小為36GB,
原始數據大小(xiao)為5000000000*20/1024/1024/1024=93.13GB,
壓縮比(bi)為36 / 93.13 = 38.65%。
測試三:時序數據庫產品3臺數據庫節點對歷史時序數據按時間回溯查詢的性能
隨(sui)機選(xuan)擇任一個測(ce)點(dian),查詢該測(ce)點(dian)在某個時(shi)間段(duan)內(nei)(nei)的歷史數(shu)據,比如從2017-07-14 10:40:00.000 到 2017-07-14 10:40:10.000 10s內(nei)(nei)的共10001條數(shu)據記錄(lu)(數(shu)據輸出到文件(jian))。
數據庫中(zhong)對應查(cha)詢語句為:
select * from d0 where ts >= ‘2017-07-14 10:40:00.000’ and ts <= ’2017-07-14 10:40:10.000’ >> /dev/null;

| 測試批次 | 時延(秒) |
| 1 | 0.052473 |
| 2 | 0.048442 |
| 3 | 0.054255 |
| 平均 | 0.051723 |
通過試驗(yan)證,TDengine的(de)寫入(ru)性(xing)能高、并發高、查詢時延極短;整體集群采用(yong)分布式架(jia)構,可靠性(xing)、穩定性(xing)、數據完整性(xing)滿(man)足項目需求。
在選型結(jie)果確定之后,我們便立刻對原有業(ye)務系統進行了升(sheng)級(ji)改(gai)造,正式引(yin)入 TDengine。
TDengine在3H1上的落地實踐
3H1高端(duan)裝備(bei)運維服務平(ping)臺重點解決高端(duan)成形裝備(bei)企業由制造化向服務化轉型(xing)的(de)關鍵問題,為企業提供工業互聯網(wang)與智能運維的(de)整體解決方案。
平(ping)臺(tai)總(zong)體(ti)架構如圖1所示(shi),其中,TDengine與高(gao)端(duan)成形裝備(bei)(bei)的(de)智能(neng)數(shu)據采(cai)集終端(duan)模(mo)塊(kuai)相連,助力采(cai)集終端(duan)完成對(dui)設備(bei)(bei)運行(xing)數(shu)據的(de)采(cai)集,為(wei)系(xi)統(tong)(tong)提供設備(bei)(bei)數(shu)據基礎;工業云計算服務(wu)(wu)平(ping)臺(tai)提供系(xi)統(tong)(tong)數(shu)據的(de)存儲、轉(zhuan)換、分(fen)析(xi)等,為(wei)系(xi)統(tong)(tong)提供業務(wu)(wu)數(shu)據支(zhi)持;智能(neng)運維服務(wu)(wu)系(xi)統(tong)(tong)由(you)裝備(bei)(bei)智能(neng)運維服務(wu)(wu)平(ping)臺(tai)和智能(neng)運維服務(wu)(wu)APP組成,分(fen)別(bie)為(wei)企業人員(yuan)提供系(xi)統(tong)(tong)和移動端(duan)的(de)服務(wu)(wu)支(zhi)持。

針對(dui)企業多種(zhong)應(ying)用(yong)場景,系統應(ying)用(yong)服務共(gong)分(fen)為六大(da)功能模塊(kuai)。
(1)企業駕駛艙:主要是服務于設(she)備(bei)制造企(qi)業(ye)的管理(li)者(zhe),方便了(le)解平(ping)臺數據情(qing)(qing)況(kuang)與關鍵業(ye)務流程(cheng)(cheng)的指標,從整(zheng)體界面(mian)上(shang)可(ke)以(yi)很方便的了(le)解到設(she)備(bei)的售賣(mai)情(qing)(qing)況(kuang),企(qi)業(ye)接入的信息,平(ping)臺數據的采集情(qing)(qing)況(kuang)。同時還可(ke)以(yi)對一些(xie)關鍵的業(ye)務流程(cheng)(cheng),包括企(qi)業(ye)設(she)備(bei)的監控、報警信息的展示、維修效率的管理(li)、設(she)備(bei)的故障情(qing)(qing)況(kuang)和三(san)包任(ren)務的信息進行追蹤與管理(li),如(ru)圖2所示。

(2)設備資源管理:主要的目的是為了(le)給每一個高端成形(xing)裝(zhuang)備建(jian)立電子檔案,以(yi)便了(le)解(jie)設(she)備歷史(shi)、當前情(qing)況,優化設(she)備運行(xing),預測設(she)備未來狀況,查(cha)看具體的設(she)備信息時主要展示設(she)備的四(si)個維度——當前工(gong)況、健康分析(xi)、維修情(qing)況和(he)歷史(shi)工(gong)況。
圖3所(suo)(suo)示的(de)當(dang)前(qian)(qian)工況(kuang)(kuang)方便用戶(hu)了解設(she)備的(de)基本(ben)信(xin)息、關鍵指(zhi)標和報警(jing)情(qing)況(kuang)(kuang),還能(neng)夠提供(gong)設(she)備當(dang)前(qian)(qian)情(qing)況(kuang)(kuang)的(de)總覽。圖4所(suo)(suo)示為健康分析,其目的(de)則是讓設(she)備用戶(hu)更(geng)加深(shen)入(ru)地了解設(she)備的(de)當(dang)前(qian)(qian)狀況(kuang)(kuang)、設(she)備的(de)健康狀況(kuang)(kuang)隨(sui)著時間的(de)變化情(qing)況(kuang)(kuang),如果設(she)備當(dang)前(qian)(qian)面臨(lin)故(gu)障(zhang)(zhang)風險(xian),也(ye)能(neng)快速查找到引起(qi)風險(xian)的(de)故(gu)障(zhang)(zhang)原因(yin)以(yi)及故(gu)障(zhang)(zhang)模塊(kuai)。維(wei)修情(qing)況(kuang)(kuang)則是給了用戶(hu)設(she)備維(wei)修信(xin)息的(de)總覽和當(dang)前(qian)(qian)維(wei)修任(ren)務的(de)流程跟蹤,如圖5所(suo)(suo)示。歷(li)史工況(kuang)(kuang)則是為了進行故(gu)障(zhang)(zhang)模塊(kuai)預排查,如圖6所(suo)(suo)示。




(3)維修服務管理:主要提供給(gei)維修服務(wu)(wu)部門人員所(suo)維修任(ren)(ren)務(wu)(wu)當前和(he)歷史的(de)效率分析。維修任(ren)(ren)務(wu)(wu)展示當前待(dai)處理的(de)任(ren)(ren)務(wu)(wu)數量(liang),比如待(dai)接(jie)單、待(dai)派單和(he)待(dai)回訪,同(tong)時還可以對每個維修任(ren)(ren)務(wu)(wu)進(jin)行查(cha)看和(he)操作,查(cha)看的(de)內(nei)容具體(ti)到維修流(liu)程的(de)每一個環(huan)節(jie),如圖7所(suo)示。
維修(xiu)效(xiao)率(lv)分析則是(shi)對維修(xiu)中(zhong)的關鍵效(xiao)率(lv)指標進行(xing)統(tong)計分析、近一(yi)年來的訂單量的變化情況(kuang)、維修(xiu)響應(ying)時(shi)間變化情況(kuang)、故障類型分布(bu)、維修(xiu)人(ren)員任務統(tong)計,方便維修(xiu)管理(li)人(ren)員對維修(xiu)服務和效(xiao)率(lv)進行(xing)管理(li),如圖8所示。


(4)設備健康分析:通過分(fen)析(xi)設(she)(she)備(bei)的歷史和當(dang)前設(she)(she)備(bei)信息(xi)來(lai)預測設(she)(she)備(bei)未來(lai)可能(neng)發(fa)生的故(gu)障,并且給(gei)出故(gu)障的可能(neng)性和類型,方便維(wei)修部門(men)為用(yong)戶指定維(wei)保策(ce)略,主動聯系用(yong)戶,如圖9所示。

(5)三包服務管理:服務于三包部門,提供當前維保(bao)活動(dong)提醒、設備維保(bao)活動(dong)記(ji)錄、設備維保(bao)到期預警(jing)等功(gong)能。
(6)備品備件管理:備(bei)(bei)品(pin)備(bei)(bei)件(jian)(jian)(jian)管(guan)理通(tong)過將(jiang)與維修保養相關的(de)備(bei)(bei)品(pin)備(bei)(bei)件(jian)(jian)(jian)也都建檔立(li)案。用戶和(he)各相關部門(men)人員可以(yi)在(zai)移動端和(he)系統端進行(xing)備(bei)(bei)品(pin)備(bei)(bei)件(jian)(jian)(jian)查(cha)詢申請審批等操作,較少不(bu)必要的(de)工作流程(cheng),提(ti)高維修保養效(xiao)率。同(tong)時通(tong)過數(shu)據(ju)分析來(lai)預測備(bei)(bei)品(pin)備(bei)(bei)件(jian)(jian)(jian)需(xu)求量,保證需(xu)求的(de)同(tong)時減少企(qi)業的(de)庫存成本。
在(zai)應(ying)用TDengine Database后,這六大功(gong)能模塊(kuai)在(zai)使用效果上也(ye)獲得了(le)顯著提升,不光(guang)體現在(zai)數據的(de)(de)(de)寫入、查詢性(xing)能上,同(tong)時也(ye)體現在(zai)高效的(de)(de)(de)壓縮效率上,真正實(shi)現了(le)性(xing)能和成本平衡的(de)(de)(de)最優(you)化。
未來規劃
目前,在搭載TDengine Database后,3H1原有業(ye)務系統在升(sheng)級(ji)改造后獲得(de)了(le)(le)極大(da)的(de)(de)(de)(de)(de)提升(sheng),不僅降低(di)了(le)(le)研發和維護(hu)的(de)(de)(de)(de)(de)成(cheng)本,同(tong)時實現了(le)(le)橫(heng)向擴展。TDengine優異(yi)的(de)(de)(de)(de)(de)查詢(xun)性能給我(wo)們帶(dai)來了(le)(le)很大(da)的(de)(de)(de)(de)(de)驚喜,極高的(de)(de)(de)(de)(de)壓(ya)縮效率,也給我(wo)們節省了(le)(le)大(da)量的(de)(de)(de)(de)(de)存儲資源。未來,我(wo)們也會嘗試在更多場景(jing)應(ying)用TDengine,加強與TDengine的(de)(de)(de)(de)(de)深度合作。


























