无码人妻精品一区二区三18禁,影音先锋男人AV橹橹色,污污污污污污www网站免费,日韩成人av无码一区二区三区,欧美性受xxxx狂喷水

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用

知輪科技, 尤佳迪

2024-03-05 /

小T導讀:隨著知輪智慧(hui)輪胎系(xi)統(tong)的(de)不斷升級迭代,數據規(gui)模也在(zai)不斷增(zeng)長,內(nei)外(wai)部人員對(dui)智慧(hui)系(xi)統(tong)整(zheng)體業務(wu)響應(ying)速(su)度和穩(wen)定性要求(qiu)變得更高。為(wei)了(le)滿(man)足這(zhe)一需求(qiu),該項目(mu)團隊決定應(ying)用(yong) TDengine 替換原(yuan)有的(de) Elasticsearch 檢(jian)索分析引(yin)擎,本文就(jiu) TDengine 的(de)應(ying)用(yong)情況、改造效果等進行了(le)全面(mian)分析,給到大家參考。

知輪(lun)(杭州)科(ke)技(ji)有限公司隸屬(shu)于(yu)中(zhong)策橡膠(jiao)集團,是一家(jia)專注(zhu)為(wei)商用車客戶(hu)(hu)提供輪(lun)胎(tai)(tai)數字化解決方案(an)以(yi)及輪(lun)胎(tai)(tai)新零(ling)售(shou)、移動救援(yuan)的互聯網(wang)科(ke)技(ji)公司。我(wo)們以(yi)輪(lun)胎(tai)(tai)為(wei)核心,致(zhi)力于(yu)幫助用戶(hu)(hu)在車輛行駛過(guo)程中(zhong)更好地(di)應對輪(lun)胎(tai)(tai)購買和使(shi)用、輪(lun)胎(tai)(tai)故障救援(yuan)以(yi)及輪(lun)胎(tai)(tai)安全預警等(deng)三個關鍵場景(jing)下(xia)的一系列問題。

以下是知輪科技三(san)大(da)服務場景:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫
壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫
壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

項目選型背景

知輪(lun)智慧(hui)輪(lun)胎系(xi)統(tong)(tong)(簡稱 VTIS 系(xi)統(tong)(tong))經(jing)過(guo)近(jin)年(nian)的不斷升(sheng)級迭代,數據規(gui)模不斷增(zeng)長(chang)。特別是(shi)最近(jin)兩(liang)年(nian),隨著知輪(lun)智租系(xi)統(tong)(tong)車輛(liang)和某國內快遞車隊全國快遞車輛(liang)等相關系(xi)統(tong)(tong)的接入(ru),外部(bu)(bu)客(ke)戶和內部(bu)(bu)人員對智慧(hui)系(xi)統(tong)(tong)整體業務響應延遲變得更為敏感,對系(xi)統(tong)(tong)穩定(ding)性的要求(qiu)也變得更高。

而知輪 VTIS 系統先前采用的是 Elasticsearch 檢索分析引擎,其無論在產品選型、應用場景還是開發迭代效率方面,都無法滿足數據量不斷增加的需求。考慮到數據特點和處理需求,我們決定選擇更專業的物聯網和車聯網時序數據庫(Time Series Database)來滿足系統的(de)要求。

通過(guo)各類選型(xing)調研后,最(zui)終我們(men)選擇應(ying)用(yong) TDengine 作為 VTIS 系(xi)統的(de)時序數據庫。主要(yao)有以下幾方面的(de)考(kao)量(liang):

  • 業務適配性:TDengine 符合 VTIS 系統物聯網 + 車聯網特性。
  • 運維成本:TDengine Enterprise(企業版)由濤思數據提供 24 小時專人運維服務,運維成本顯著降低。
  • 數據壓縮率:時序列式存儲促成了 TDengine 超高的數據壓縮比,結合數據重整功能,實測數據相比 Elasticsearch 數據壓縮比超過 1:10,為企業節省了更多的服務器磁盤費用。
  • 讀寫性能優異:對于時序數據來說 TDengine 的寫入性能極高,實測 3 節點高效云盤寫入速度可達 30W 測點每秒。數據讀取性能也表現的很優異,針對相同時序數據量,其讀取速率 10 倍于原有的 Elasticsearch 引擎。
  • TDengine 具有低服務器資源占用率、高可用性和穩定性的特點。它支持用戶自定義函數(UDF)算法集成,并提供各類數學算法的支持。
  • 冷熱分離:TDengine 提供多級存儲,對歷史數據可全自動遷移低頻低價存儲介質中進行存儲,降低企業數據存儲費用。
  • 車企接入率高:針對公司所屬行業合作對接情況,結合濤思數據官網各類落地案例,TDengine 在快遞物流行業、物聯網行業均有較高接入率,能夠為公司后續商業發展提供更友好的數據支持。

業務架構 & 經驗分享

目前該項目上使用的是 TDengine 3.1.1.11 企業版的 3 節點集群,單臺配置為 16 核 CPU + 64GB 內存 + 3TB 高效云盤。數(shu)據整體流向(xiang)架(jia)構圖(簡(jian)化(hua))如(ru)下所示(shi):

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

以車(che)輛實時胎(tai)(tai)溫胎(tai)(tai)壓(ya)數(shu)(shu)(shu)據(ju)(ju)采集為例。邊緣網(wang)關(guan)一般會每(mei)隔一定時間(jian)(秒(miao)級)采集胎(tai)(tai)溫胎(tai)(tai)壓(ya)數(shu)(shu)(shu)據(ju)(ju),其中(zhong)包括胎(tai)(tai)溫、胎(tai)(tai)壓(ya)、漏氣情況等數(shu)(shu)(shu)據(ju)(ju),通(tong)過(guo)邊緣計算進行首次(ci)數(shu)(shu)(shu)據(ju)(ju)整合、比對預警(jing)閾值后,網(wang)關(guan)一般情況下以 3 分鐘(報警(jing)時秒(miao)級)間(jian)隔通(tong)過(guo) TCP 鏈接 + 私(si)有協議將數(shu)(shu)(shu)據(ju)(ju)發(fa)送至(zhi) VTIS 云平臺 Netty 網(wang)關(guan)。

實(shi)時(shi)流(liu)數(shu)(shu)(shu)據(ju)經 VTIS Netty 網關服(fu)務(wu)后依次執行數(shu)(shu)(shu)據(ju)解碼、流(liu)數(shu)(shu)(shu)據(ju)實(shi)時(shi)分析、預警(jing)推送、數(shu)(shu)(shu)據(ju)整(zheng)合(he)等步(bu)驟后批量寫入(ru) TDengine 中。需要注意的(de)是(shi),TDengine 寫入(ru)需保持單子(zi)表順序寫入(ru)的(de)規則,因此(ci)寫入(ru)前的(de)數(shu)(shu)(shu)據(ju)順序重整(zheng)很有必要,這可以(yi)減少數(shu)(shu)(shu)據(ju)空(kong)洞(dong)的(de)產生。

基于(yu) TDengine 一(yi)個設備采集(ji)點(dian)一(yi)張子表(biao)的建模思路,在(zai)濤思數據交付團隊(dui)協(xie)助下,我們建立了車輛(liang)胎溫胎壓數據的庫表(biao)結構大致如下(簡化):

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

列設計-采集量:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

列設計-狀態量:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

標簽設計:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

上述數(shu)據(ju)保存時(shi)(shi)間為 180 天(tian),數(shu)據(ju)文(wen)件切(qie)分(fen)跨度(du) 1 天(tian),由于單車輛(liang)存在多(duo)輪位同(tong)時(shi)(shi)刻胎溫(wen)胎壓(ya)數(shu)據(ju),我(wo)們(men)便(bian)以時(shi)(shi)間戳后六位對數(shu)據(ju)進行區分(fen)。此外,通過 TDengine 提(ti)供的(de)各類原有函數(shu)配合(he)用(yong)戶自定義(yi)函數(shu),我(wo)們(men)編(bian)寫了基于時(shi)(shi)序的(de)算(suan)法配合(he)實時(shi)(shi)流計算(suan)(如即時(shi)(shi)態勢溫(wen)度(du)感知),以此提(ti)高預警效率和(he)及時(shi)(shi)性(xing),減少誤報情(qing)況(kuang)的(de)發生。

運行情況 & 改造效果

項(xiang)目上線(xian)后(hou)穩定運行至今,資源占(zhan)用率(lv)平穩。對比原有的 Elasticsearch,TDengine 存(cun)儲(chu)時序數(shu)據存(cun)在明顯的優勢,主要表(biao)現在如下幾點:

  • 磁盤占用

Elasticsearch:基于 Lucene 內部以(yi) JSON 格式(shi)存儲(chu),數據壓縮率低,磁盤占用率高(gao);

TDengine:時序(xu)列式(shi)存儲,同(tong)一設備隨時間數據變(bian)化不(bu)大,壓縮率極高,相(xiang)比(bi) Elasticsearch 有 10 倍左右的壓縮比(bi),磁(ci)盤(pan)占用率低。

  • 內存占用(單節點內存配置皆為 64GB)

Elasticsearch:內存占用量 4 個節點(dian)皆在(zai) 54GB 以上(shang);

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

TDengine:內存占用量 3 個節點皆(jie)僅在(zai) 4GB 左右(you)。

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

此(ci)外(wai),TDengine 還具有如(ru)下優點:

  • 數據讀寫性能強大:對于時序數據的順序寫入速率極快 ,時間范圍查詢效率極高。
  • 復雜時序運算:通過 TDengine 的 UDF(用戶自定函數)功能,方便 VTIS 系統后續進行時序態勢胎溫實時流計算和其他復雜時序數據的實時計算。復雜運算不影響整體集群穩定性和時延。
  • 數據訂閱服務:利用 TDengine 的數據訂閱功能,將數據實時導入阿里云 MaxCompute 大數據倉庫,實現近實時的數據可視化分析和模型建立。

第三(san)方平(ping)臺可以(yi)利用 TDengine 的(de)(de)數據(ju)訂閱功(gong)(gong)能實現(xian)數據(ju)便捷流轉,便于知(zhi)輪(lun)科(ke)技(ji)與各家快遞(di)物(wu)流、車企(qi)、公交集(ji)團(tuan)等進行數據(ju)對接。未來希望 TDengine 能增加(jia)更多便于運維的(de)(de)功(gong)(gong)能,比如無(wu)阻塞的(de)(de)數據(ju)重整、數據(ju)慢查(cha)詢隔離池等。

可視化與未來

在車輛胎溫胎壓監控領域的可視化中,展示信息的完整性、實時性、可交互性和靈活性至關重要。TDengine 提供高效的查詢能力和簡單易用的 SQL 語句,能輕松實現這些需求。通過網頁展示工具調用 TDengine 的 SQL,我們成功創建了展示各類車輛預警事件的主看板,為車隊集團的運營決策提供重要支持。

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統中的應用 - TDengine Database 時序數據庫

以上是 TDengine 3.0 在輪(lun)胎(tai)智能預(yu)警領(ling)域的應(ying)用案例,類似(si)的需求也存(cun)在于快遞物流、公共交通(tong)、港口(kou)碼頭等多個輪(lun)胎(tai)應(ying)用場景中。隨著智能化的不斷演進,知輪(lun)科技的 VTIS 系統(tong)將(jiang)通(tong)過采用 TDengine 在未來(lai)扮演更加重要的角色。

作者簡介:尤佳(jia)迪,知輪(杭州)科(ke)技有限(xian)公司(si),負(fu)責(ze) VTIS 系統物(wu)聯網平臺業務。