在鋼鐵行業的生產、運輸、治理等環節中，都會涉及大量時序數據的存儲分析、運維監控等操作，每日產生的數據量甚至高達億級，而傳統的工業實時數據庫與關系型數據庫，都難以應對這種數量級的數據處理需求，想要保證業務發展，則亟需更為專業的時序數據庫（Time Series Database，TSDB）。本篇文章匯總了三大鋼鐵行業數據(ju)治(zhi)理場景(jing)下的數據(ju)架構(gou)升級(ji)方案，供有相(xiang)關業務需(xu)求的開發(fa)者(zhe)參考。

中天鋼鐵 x TDengine

“目(mu)前 TDengine 在我們的(de)(de)生產(chan)環(huan)(huan)境中運(yun)(yun)行平(ping)穩，通過對生產(chan)環(huan)(huan)境的(de)(de)機器進行檢測，CPU 使用率(lv)平(ping)常不到 1%，內存使用率(lv)穩定(ding)在 25%。在 TDengine 平(ping)穩運(yun)(yun)行的(de)(de)數周時間里，中天鋼鐵的(de)(de)新系統平(ping)均每周收錄 3000 多(duo)輛車(che)輛表(biao)與 100 多(duo)條船只表(biao)，每張表(biao)中數據或多(duo)或少，累計數量已達(da)百萬，業(ye)務的(de)(de)實際效果也達(da)到了預(yu)期(qi)。”

業務背景

為了滿足業務(wu)發(fa)展需求(qiu)，中(zhong)天(tian)(tian)鋼鐵需要新開發(fa)一(yi)套功能(neng)，對(dui)廠內每輛(liang)(liang)運輸車(che)輛(liang)(liang)貨運船(chuan)只(zhi)的實時(shi) GPS 位置進行追蹤和實時(shi)監控，通過大(da)(da)(da)數(shu)據平(ping)臺對(dui) GPS 坐(zuo)標進行處理、分析(xi)、可視化展示。這些 GPS 數(shu)據來自于中(zhong)天(tian)(tian)云商(shang) App，只(zhi)要運輸車(che)輛(liang)(liang)司(si)機打開云商(shang) App，系(xi)統每隔(ge) 10 秒(miao)會自動發(fa)送該(gai)車(che)輛(liang)(liang) GPS 信號到大(da)(da)(da)數(shu)據平(ping)臺，再由大(da)(da)(da)數(shu)據平(ping)臺分析(xi)處理，數(shu)據量之大(da)(da)(da)可見一(yi)斑。本質上來講(jiang)，行車(che)記錄、行船(chuan)記錄都是時(shi)序數(shu)據，也因此，從數(shu)據特點出發(fa)中(zhong)天(tian)(tian)鋼鐵開始(shi)對(dui)時(shi)序數(shu)據庫進行選型(xing)調研，在進行性(xing)能(neng)對(dui)比后(hou)選擇了 TDengine。

架構圖

鋼鐵行業能源管理系統 x TDengine

“TDengine 是濤思數據面對(dui)高速(su)增長(chang)的(de)(de)(de)物聯網大(da)(da)數據市場(chang)和技(ji)術挑戰(zhan)推出的(de)(de)(de)創新性大(da)(da)數據處(chu)理產品(pin)，在時序空間大(da)(da)數據處(chu)理上(shang)，有著自己獨到(dao)的(de)(de)(de)優(you)勢。TDengine 單核每秒能處(chu)理至(zhi)少 2 萬次(ci)請求，插入(ru)數百(bai)萬個數據點，讀(du)出一千萬以(yi)上(shang)數據點，比現有通(tong)用數據庫快十(shi)倍(bei)以(yi)上(shang)，也遠(yuan)遠(yuan)超(chao)出了 InSQL、PI 這兩(liang)個工(gong)業實時數據庫的(de)(de)(de)讀(du)寫能力。”

業務背景

湖北某特鋼公司的(de)電力能(neng)源介質的(de)計量(liang)(liang)，是通(tong)過(guo) TBox 工控網關采集多功能(neng)電表來實現(xian)的(de)，需要完(wan)善并實現(xian)“峰谷平尖(jian)”電能(neng)量(liang)(liang)費(fei)率計量(liang)(liang)和能(neng)源報(bao)表。項(xiang)目一期(qi)首(shou)先要求采集電能(neng)量(liang)(liang)數(shu)(shu)(shu)據(ju)，每(mei)天(tian)產生(sheng)的(de)數(shu)(shu)(shu)據(ju)量(liang)(liang)在 2800 萬條以上，項(xiang)目二期(qi)如果再(zai)接入(ru)非電數(shu)(shu)(shu)據(ju)，每(mei)天(tian)產生(sheng)的(de)數(shu)(shu)(shu)據(ju)量(liang)(liang)預估在 1 億條左右，數(shu)(shu)(shu)據(ju)處理壓力劇(ju)增。TBox 工控網關基于前期(qi)項(xiang)目實施和實際應用(yong)需求提(ti)供了完(wan)整的(de)技(ji)術方案，包含從電表采集電能(neng)數(shu)(shu)(shu)據(ju)并寫入(ru) TDengine 時(shi)序數(shu)(shu)(shu)據(ju)庫，再(zai)經過(guo) ETL 工具處理后轉(zhuan)存到(dao) Oracle database，從而滿足(zu)企(qi)業一期(qi)電能(neng)量(liang)(liang)數(shu)(shu)(shu)據(ju)報(bao)表對實時(shi)數(shu)(shu)(shu)據(ju)采集和存儲的(de)要求。

架構圖

鋼鐵行業節能減排項目 x TDengine

“TDengine 存(cun)儲 26 億行數據情況下(xia)，占用(yong)的(de)(de)(de)磁(ci)盤(pan)空間(jian)只有 2.8GB，而實際上入庫的(de)(de)(de)原數據大小應(ying)為(wei) 30GB，其列式(shi)存(cun)儲壓縮率(lv)可(ke)以達到(dao)(dao)驚人的(de)(de)(de) 10%，我們準備了 1.8TB 磁(ci)盤(pan)，目前只用(yong)了千分之一。基于超級表(biao)特性，我們還(huan)從結構上省下(xia)了 26 億行的(de)(de)(de)標簽數據，想象(xiang)一下(xia)如果(guo)該(gai)表(biao)的(de)(de)(de)每一行數據都還(huan)要(yao)帶上這幾個(ge)數據（type，sendorid，opcid，合計 436 字(zi)節），那(nei)其原本(ben)數據量(liang)直接就會達到(dao)(dao) TB 級別(bie)，就算壓縮率(lv)再好也要(yao)占用(yong)百 GB 級別(bie)的(de)(de)(de)存(cun)儲。”

業務背景

由邯鋼牽頭的“十三五”水專項“鋼鐵(tie)行業水污(wu)染全過(guo)程控制技術(shu)系(xi)統(tong)集成(cheng)與綜合應(ying)用(yong)(yong)示范(fan)”課題中，深度(du)（平潭）科技承擔了(le)“提(ti)高(gao)水循(xun)環利用(yong)(yong)的分(fen)質(zhi)/分(fen)級(ji)供水技術(shu)、水系(xi)統(tong)優化和水網絡(luo)智慧管(guan)理(li)”的研究任務，創新開發(fa)了(le)具有自主知識(shi)產權的“鋼鐵(tie)聯合企業全過(guo)程節水減排專家管(guan)理(li)系(xi)統(tong)智慧平臺”。平臺應(ying)用(yong)(yong)過(guo)程中會有海量(liang)數(shu)(shu)據產生，數(shu)(shu)據的實時寫入成(cheng)為一(yi)大(da)難題，計算(suan)分(fen)析、報警預(yu)警等功能實現也(ye)面臨(lin)巨大(da)挑(tiao)戰。最初使用(yong)(yong)的 Kafka+Storm+HDFS 的組合方案，在(zai)面對(dui)每(mei)天處理(li)將(jiang)近一(yi)億條數(shu)(shu)據壓力下(xia)，數(shu)(shu)據讀取、一(yi)致(zhi)性等性能下(xia)滑，運(yun)維部署(shu)成(cheng)本顯(xian)著增加。基于此，他們決定更(geng)換數(shu)(shu)據庫方案，并在(zai)選型調研后開始應(ying)用(yong)(yong) TDengine。

TDengine 中間性試驗數據

結語

從以上案例出發，總結而言，TDengine 針對時序數據的寫入、存儲、索引、查詢等方面都進行了特定的優化，從而實現了更優的數據加載、壓縮、查詢、寫入性能，非常匹配工業傳感器數據的應用分析場景，是助力鋼鐵企業數字化轉型道路上的一個好幫手。目前我們已經運營了幾十個用戶交流群，來幫助用戶更好地解決問題，如果你想要了解更多，歡(huan)迎(ying)點擊下方卡(ka)片，加入(ru) TDengine 用戶交流群。