對于物流企業來說，如何高效地記錄和處理車輛的軌跡信息、應對每天海量監控數據的采集和處理工作，對于項目整體的交付效率至關重要。同時，伴隨著數字化、智能化的不斷加速，數據更是呈現出爆發式增長，老舊的數據架構越來越難以應對業務發展需求。在此背景下，諸多物流企業開始尋求數據架構的變革，特別是選擇符合業務需求的時序數據庫（Time Series Database，TSDB）產品，本篇文章匯總了國內四家大(da)型(xing)物流公司的數據架構改造實例，給到讀(du)者參考。

順豐 x TDengine

“完(wan)(wan)成(cheng)改造后(hou)，大數(shu)據監控平(ping)臺(tai)擺脫了對大數(shu)據組(zu)件的依賴，有效(xiao)縮短(duan)了數(shu)據處理鏈路，自上線以來，一直運(yun)行穩定。在(zai)寫入(ru)方面，根據容(rong)量規劃完(wan)(wan)成(cheng)相關參數(shu)調整后(hou)，理想情(qing)況下(xia)，集群寫入(ru)速度最高達 90W 條/s。查(cha)詢(xun)性能方面，在(zai)使用預計算函(han)數(shu)情(qing)況下(xia)，查(cha)詢(xun) p99 都在(zai) 0.7 秒以內，能夠(gou)滿(man)足我們日(ri)常絕大部分查(cha)詢(xun)需(xu)求(qiu)。控制成(cheng)本層面，服務端(duan)物(wu)理機由 21 臺(tai)降至 3 臺(tai)，每日(ri)所需(xu)存儲空(kong)間為(wei) 93GB（2 副本），同等副本下(xia)僅為(wei) OpenTSDB+HBase 的約 1/10。”

業務背景

順豐科技大數據集群每天需要采集海量監控數據，以確保集群穩定運行。此前其采用了 OpenTSDB+HBase 作為大數據監控平臺全量監控數據的存儲方案，隨著接入數據量的不斷增長，這一方案衍生出了不少痛點，包括依賴多、使用成本高和性能不能滿足等問題，必須對全量監控數據存儲方案進行改造。通過對 IoTDB、Druid、ClickHouse、TDengine 等時序數據存儲方案的調研， TDengine 時序數據成為(wei)他們(men)的最終選擇。

架構圖

為(wei)保證整(zheng)個系統的高(gao)可用和可擴展性(xing)，整(zheng)體架構中(zhong)，前端采用nginx集群進(jin)行負(fu)載均衡，保證高(gao)可用性(xing)；單獨分離(li)出(chu)客戶端層，方便(bian)根據流量需求進(jin)行擴容縮容。點擊案例詳情(qing)查看三大實施難點及(ji)解決路徑。

?? 點擊案例查看更多技術細節

韻達 x TDengine

“我(wo)們目(mu)前(qian)使(shi)用(yong) TDengine 2.2.2.0 版本(ben)，在三臺(tai) 16C 64G 的(de)服務器上(shang)部署了集群，數(shu)據(ju)寫入速度大(da)概為每秒 5000 行。值(zhi)得一提的(de)是，基(ji)于 TDengine，常用(yong)的(de)查(cha)詢基(ji)本(ben)可以(yi)在 1 秒之內完(wan)成(cheng)，一些特定查(cha)詢甚至可以(yi)達到(dao)毫秒級。從存儲來說(shuo)，同等數(shu)據(ju)體量下，TDengine 大(da)約(yue)占(zhan)用(yong) 300GB 不到(dao)的(de)磁盤(pan)（單副本(ben)），而此前(qian)使(shi)用(yong) MySQL 時，光硬盤(pan)使(shi)用(yong)就需要幾個 TB（主從）。”

業務背景

在(zai)業(ye)(ye)務尚未(wei)擴張之前，韻達(da)采用的(de)是(shi) MySQL 分(fen)區+索引方式進(jin)行(xing)數據處理，但(dan)隨(sui)著(zhu)企業(ye)(ye)的(de)發展、業(ye)(ye)務量的(de)增加(jia)，面對每日億(yi)級的(de)數據量，MySQL 顯然已經無法滿足當下的(de)數據處理需(xu)(xu)求(qiu)。隨(sui)后，韻達(da)決定(ding)進(jin)行(xing)數據庫選(xuan)型，考(kao)慮到(dao)目前業(ye)(ye)務主(zhu)要(yao)是(shi)統計(ji)各個(ge)網(wang)點設備實(shi)時上傳的(de)數據，無需(xu)(xu)再進(jin)行(xing)修改等操作，是(shi)典(dian)型的(de)時序(xu)數據。經過一番調研和測試，韻達(da)發現 TDengine 就很符合當下的(de)業(ye)(ye)務要(yao)求(qiu)。

架構圖

當前韻達的架構是 Spring Boot + MyBatis + MySQL + TDengine，TDengine 負責處(chu)理時序(xu)數(shu)據(ju)，MySQL 則負責非時序(xu)數(shu)據(ju)的存儲及(ji)應用，整體(ti)架構如下(xia)：

?? 點擊案例查看更多技術細節

貨拉拉 x TDengine

“值得一提的是，TDengine 的 SQL 原生語法支持時間維度聚合查詢，同時數據存儲壓縮率?存儲空間小， 這兩點直接切中了我們的痛點。落地后實測相同數據的存儲空間只有 MySQL 存儲空間的 1/10 甚至更少。還有?個驚喜是，在現有監控數據存儲(MySQL)頂不住的情況下，?臺 8C16GB 的單機版 TDengine 時序數據庫輕(qing)松就抗下目前所有(you)監控流量和存儲壓力，且運(yun)行穩定，基(ji)本沒有(you)故障(zhang)。”

業務背景

目前貨拉(la)拉(la) DBA 團(tuan)隊管理(li)的(de)(de)(de)數(shu)據(ju)(ju)存(cun)儲包括 MySQL、Redis、Elasticsearch、Kafka、MQ、Canal 等，為了保證監(jian)(jian)(jian)控(kong)(kong)(kong)采(cai)樣的(de)(de)(de)實時性，其(qi)自研的(de)(de)(de)監(jian)(jian)(jian)控(kong)(kong)(kong)系(xi)統設置(zhi)的(de)(de)(de)采(cai)樣間(jian)隔為 10 秒，每(mei)天都會產生龐大的(de)(de)(de)監(jian)(jian)(jian)控(kong)(kong)(kong)數(shu)據(ju)(ju)，監(jian)(jian)(jian)控(kong)(kong)(kong)指標的(de)(de)(de)數(shu)據(ju)(ju)量達(da)到 20 億+。隨著管理(li)實例越(yue)(yue)來越(yue)(yue)多，使用 MySQL 來存(cun)儲規模(mo)日益龐大的(de)(de)(de)監(jian)(jian)(jian)控(kong)(kong)(kong)數(shu)據(ju)(ju)越(yue)(yue)發(fa)力不從心，急需進行(xing)升(sheng)級(ji)改造(zao)。結(jie)合實際具體需求，通過(guo)對(dui)不同(tong)時序數(shu)據(ju)(ju)庫進行(xing)調研，最終貨拉(la)拉(la)選擇了 TDengine，順利完成了數(shu)據(ju)(ju)存(cun)儲監(jian)(jian)(jian)控(kong)(kong)(kong)的(de)(de)(de)升(sheng)級(ji)改造(zao)。

架構圖

?? 點擊案例查看更多技術細節

中通 x TDengine

“通過(guo)項目初期的(de)(de)(de)(de)表現，可(ke)以知道(dao) TDengine 能夠輕松滿足我們的(de)(de)(de)(de)業(ye)務(wu)需求，輕松支撐起(qi)業(ye)務(wu)中(zhong)使(shi)用(yong)比(bi)較頻繁的(de)(de)(de)(de)幾(ji)種(zhong)查詢。未(wei)來(lai)我們還有其(qi)他的(de)(de)(de)(de)使(shi)用(yong)規劃(hua)，后續接入的(de)(de)(de)(de)車輛(liang)將會(hui)達到(dao)幾(ji)萬輛(liang)，對于部標機產生的(de)(de)(de)(de)相關時序(xu)數據的(de)(de)(de)(de)使(shi)用(yong)也會(hui)越來(lai)越多(duo)，期待 TDengine 可(ke)以繼續為車聯網場景下的(de)(de)(de)(de)查詢提供更為多(duo)樣性的(de)(de)(de)(de)支持。”

業務背景

車(che)(che)(che)聯(lian)網業務(wu)是中(zhong)通(tong)科技配送全(quan)(quan)鏈(lian)(lian)路(lu)業務(wu)中(zhong)非常重要(yao)的(de)一(yi)(yi)環，通(tong)過(guo)人(ren)、車(che)(che)(che)、貨、場全(quan)(quan)鏈(lian)(lian)條覆蓋的(de)車(che)(che)(che)聯(lian)網設備應用(yong)，實現物(wu)流運輸(shu)全(quan)(quan)鏈(lian)(lian)路(lu)感(gan)知。在(zai)中(zhong)智(zhi)車(che)(che)(che)聯(lian)服務(wu)平臺的(de)實際項目(mu)需求(qiu)中(zhong)，需要(yao)實時查詢車(che)(che)(che)輛最(zui)新位置狀態，達到車(che)(che)(che)輛運營可視化管理。在(zai)進行數(shu)據庫選型時，其對比了 Prometheus 和 TDengine 這(zhe)兩款(kuan)很有(you)代表性的(de)時序數(shu)據庫，最(zui)終被 TDengine “一(yi)(yi)個設備采集(ji)點一(yi)(yi)張表”的(de)底層設計，及自帶的(de)降采樣(yang)和窗(chuang)口函數(shu)等優秀性能所吸引。

架構圖

?? 點擊案例查看更多技術細節

寫在最后

據(ju)國(guo)家郵政(zheng)局數(shu)據(ju)顯示(shi)，我國(guo)快遞業(ye)(ye)發展迅猛，已經(jing)連續幾(ji)年保持 50% 左右的(de)(de)爆發式增(zeng)長，為經(jing)濟增(zeng)長注入了強大的(de)(de)活力，然而(er)高速發展的(de)(de)同時(shi)也面臨著越來越多(duo)(duo)的(de)(de)數(shu)據(ju)處理難題，好在大數(shu)據(ju)處理方案也在與(yu)時(shi)俱進。以上(shang)企業(ye)(ye)用(yong)實際案例證明，對于物流企業(ye)(ye)，時(shi)序數(shu)據(ju)庫(ku)在降本(ben)增(zeng)效(xiao)上(shang)確實更(geng)加顯著，值得更(geng)多(duo)(duo)有此類需求的(de)(de)企業(ye)(ye)嘗試。