易永耀 夏杭泰 鄧煒興(xing)｜數益工聯

公司介紹

數(shu)(shu)益工聯(lian)(lian)致(zhi)力(li)于(yu)(yu)打造(zao)(zao)(zao)基于(yu)(yu)數(shu)(shu)據流+價值(zhi)流的(de)離(li)散(san)制(zhi)造(zao)(zao)(zao)業(ye)(ye)(ye)數(shu)(shu)字(zi)化(hua)軟(ruan)件；應用新一代的(de)物聯(lian)(lian)網(wang)技術與(yu)豐富(fu)(fu)的(de)現(xian)場交(jiao)互手段，融合工業(ye)(ye)(ye)工程精益思想，為離(li)散(san)制(zhi)造(zao)(zao)(zao)業(ye)(ye)(ye)客戶的(de)數(shu)(shu)字(zi)化(hua)升(sheng)級提(ti)供從規劃到實(shi)施落(luo)地的(de)端(duan)到端(duan)工廠級解決方(fang)案；打造(zao)(zao)(zao)行(xing)業(ye)(ye)(ye)與(yu)客戶的(de)工業(ye)(ye)(ye)數(shu)(shu)據平臺(tai)，持續(xu)提(ti)供數(shu)(shu)據智能服務。核(he)心(xin)團隊(dui)來自清華大學等知(zhi)名院校，同時擁有深厚的(de)制(zhi)造(zao)(zao)(zao)業(ye)(ye)(ye)精益運營管理(li)能力(li)和(he)豐富(fu)(fu)的(de)數(shu)(shu)字(zi)化(hua)工廠成功經驗。團隊(dui)以IE+IT為核(he)心(xin)能力(li)，實(shi)現(xian)產品和(he)技術的(de)雙(shuang)輪驅動，旨在服務離(li)散(san)制(zhi)造(zao)(zao)(zao)業(ye)(ye)(ye)客戶通(tong)過數(shu)(shu)字(zi)化(hua)顯著(zhu)改善(shan)質量管理(li)水(shui)平、提(ti)升(sheng)企業(ye)(ye)(ye)生(sheng)產效(xiao)率、降低制(zhi)造(zao)(zao)(zao)成本。

業務場景

工業設(she)備物聯采集(ji)是數(shu)(shu)字化工廠建設(she)的基(ji)礎(chu)，設(she)備在(zai)運(yun)行過(guo)程中會產生大量有(you)價(jia)值的數(shu)(shu)據(ju)(ju)，例如：設(she)備狀態、實時工藝參數(shu)(shu)、合格報廢(fei)數(shu)(shu)量、生產節(jie)拍、異(yi)常(chang)報警信息等(deng)，設(she)備物聯采集(ji)可以為(wei)后續(xu)的數(shu)(shu)據(ju)(ju)分析挖掘提供最基(ji)礎(chu)、透明、可靠的數(shu)(shu)據(ju)(ju)來(lai)源。

目前(qian)我們的客戶，其設備的主要(yao)特點是：

• 設備類型繁多，不同類設備的通訊接口、采集協議、采集參數各不相同
• 單個工廠的設備數量：幾十至幾千
• 單臺設備的采集參數數量：幾十至幾百
• 采集頻次的基本要求：每秒采集一次，支持變化上報
• 參數類型包含：數值、文本

我們對(dui)自研工(gong)業物(wu)聯(lian)采集(ji)平臺(tai)的(de)定位(wei)是：可(ke)對(dui)物(wu)聯(lian)數(shu)據進行采集(ji)、存儲和查詢，可(ke)用(yong)于單(dan)個工(gong)廠(chang)或多個工(gong)廠(chang)的(de)設備(bei)物(wu)聯(lian)采集(ji)。

需要支持的特性：

• 功能穩定
• 高效的數據寫入
• 高效的數據查詢，包括最新數據和歷史數據
• 可云化部署
• 可私有化部署
• 線性擴展
• 高可用
• 便于連接大數據平臺

不需要支持的特性：

• 修改/刪除數據
• 數據分析

技術選型

基于業務場景的需求，我們選擇時序數據庫（Time-Series Database）作為物聯(lian)采集平臺的核(he)心組(zu)件，并調研了幾款產品：InfluxDB、OpenTSDB和(he)TDengine。

• InfluxDB：應用最廣泛，穩定性高。劣勢是集群版不開源，需要付費，性能不突出。
• OpenTSDB：基于HBase，擴容方便。劣勢是壓縮比較低，存儲空間大。
• TDengine：性能強大，部署簡單，集群版已開源，社區活躍，國內產品。超級表的設計，與設備類型的概念完美契合，聚合查詢非常方便。劣勢是推出時間較短，產品比較年輕。

對比(bi)之后，我們最終選(xuan)擇了TDengine Database這款性(xing)能出眾、潛力巨大的產(chan)品。通(tong)過充分的測試和驗證(zheng)，可以彌補(bu)劣(lie)勢。

技術架構

我(wo)們使用TDengine Database存儲兩類(lei)數據：

• 原始的設備物聯數據。同類設備使用同一個超級表。
• 與業務有關聯的設備物聯數據，經處理后再存入。同類業務使用同一個超級表。

物(wu)聯采集相(xiang)關(guan)的架構如下：

工控機是設備與物(wu)聯(lian)采(cai)集平臺之間的重要(yao)樞紐，根據設備管(guan)理(li)模塊下發的配置，將各類(lei)設備的物(wu)聯(lian)數據轉化為(wei)統一的格式(shi)，加密后上(shang)報給物(wu)聯(lian)采(cai)集平臺。

物聯(lian)采(cai)集平臺接收(shou)到數據(ju)(ju)后，根據(ju)(ju)數據(ju)(ju)類型(xing)進行分發。原始數據(ju)(ju)直接存入TDengine；部分類型(xing)的數據(ju)(ju)推送到Kafka或(huo)者是RabbitMQ中(zhong)，經業務處理后再存入TDengine。

使用體驗

TDengine的(de)(de)(de)寫入和查詢的(de)(de)(de)效(xiao)率(lv)非常高(gao)，平均在(zai)10ms以內，性能完全滿(man)足我們的(de)(de)(de)要求。給人印象最深刻的(de)(de)(de)是超強的(de)(de)(de)數據(ju)(ju)壓縮能力，以某(mou)個(ge)客戶的(de)(de)(de)數據(ju)(ju)情況為例：運行(xing)一個(ge)月(yue)時間，產生約(yue)(yue)3.2億(yi)條(tiao)記錄的(de)(de)(de)數據(ju)(ju)，每條(tiao)記錄包(bao)含(han)約(yue)(yue)800列，實際占用的(de)(de)(de)磁盤空間竟然不(bu)到30G。

問題解決

在使用(yong)過程中，也遇(yu)到過些(xie)許問題(ti)，例如部分數(shu)據在超級表中可以正(zheng)常查詢(xun)到，但是無法通過子(zi)表查詢(xun)到。

我(wo)們聯系(xi)了(le)濤思數據的(de)技(ji)術支持，濤思很(hen)快(kuai)就協調(diao)了(le)開(kai)發資源進(jin)行(xing)(xing)問(wen)題(ti)排查，甚(shen)至是通宵處理(li)，最終定位(wei)到(dao)了(le)原因：我(wo)們通過連接池(chi)的(de)方(fang)式(shi)連接TDengine，并進(jin)行(xing)(xing)較為(wei)頻(pin)繁(fan)的(de)show tables操(cao)作(zuo)，以(yi)測試連接是否正常，該(gai)頻(pin)繁(fan)操(cao)作(zuo)最終觸(chu)發TDengine內部的(de)異常。發布新版(ban)本后該(gai)問(wen)題(ti)得(de)到(dao)解決，我(wo)們也減少(shao)了(le)不必要的(de)show tables操(cao)作(zuo)。

非常感謝(xie)濤思數據的工程師，非常熱誠，及(ji)時高效(xiao)地幫助(zhu)我(wo)們解決了問題！

未來期望

TDengine是(shi)個年輕又充滿活力的產品，在工業物聯領域具(ju)有非常大的價值。

希望(wang)(wang)濤(tao)思(si)數據在未來可以(yi)推出(chu)更友好(hao)的開發和運維工(gong)具，也非常希望(wang)(wang)能在開源社區(qu)推出(chu)一(yi)個相對穩定、兼容性較好(hao)的版本。