在(zai) 8 月 13 日的(de) TDengine 開發(fa)者大會上，TDengine 聯合創(chuang)始人侯(hou)江燚帶來題為《核心代碼全(quan)部開源(yuan)，企業(ye)版價值(zhi)何在(zai)》的(de)主題演講(jiang)(jiang)，為大家講(jiang)(jiang)解了 TDengine 3.0 企業(ye)版對工業(ye)互聯網邊云協同(tong)的(de)助力，同(tong)時(shi)分享了自己對于開源(yuan)商業(ye)化的(de)理(li)解。本文(wen)根(gen)據此演講(jiang)(jiang)整理(li)而(er)成。

點擊【這里】查看完整演講視頻

在(zai)物聯網(wang)海量設(she)備數(shu)據場景下，關系型(xing)數(shu)據庫(ku)、傳(chuan)統(tong)工業實時(shi)庫(ku)、Hadoop 大數(shu)據平臺、NoSQL 數(shu)據庫(ku)都暴露出了不(bu)一而足(zu)的(de)痛點問題，嚴重限制企業業務(wu)規(gui)模化發展(zhan)。

• 關系型數據庫：存在海量時序數據讀寫性能低、分布式支持差、數據量越大查詢越慢、報表分析慢等問題
• 傳統工業實時庫：主備架構，不易水平擴展，且依賴 Windows 等環境，生態相對封閉
• Hadoop 大數據平臺：組件多而雜、架構臃腫，支持分布式但單節點效率低，硬件及人力成本非常高
• NoSQL 數據庫：實時性差，大數據量查詢慢，計算時內存、CPU開銷巨大，無時序針對性優化

但即使是專為物聯網時序場景而生的時序數據庫（Time Series Database，TSDB），也并沒有(you)完全解(jie)決掉這些數據處理難(nan)題，仍存(cun)在“系統復雜運(yun)維(wei)難(nan)度大”、“非標準 SQL 學習成本高”、“沒有(you)真(zhen)正云原生化水平擴展能力(li)有(you)限”等難(nan)以忽視的問題。

在調研了數百個業務場景的基礎上，從解決上述企業痛點問題角度出發，TDengine 完成了 3.0 版本的迭代，不僅從“云就緒”升級成為一款真正的云原生時序數據庫，還是一款極簡的時序數據處理平臺，打造了全新的流式計算引擎，無需再集成 Kafka、Redis、Spark、Flink 等軟件，大幅降低系統架構的復雜度。同時，3.0 還將存儲引擎、查詢引擎都進行了(le)優化升(sheng)級，進一步提(ti)升(sheng)了(le)存儲和查詢(xun)性能。

目前 TDengine 3.0 的代碼(ma)已經在(zai) GitHub 上開放(fang)，歡迎大(da)家(jia)下(xia)載、體驗。下(xia)面我將會就 3.0 企業(ye)級工具助(zhu)力工業(ye)互聯網邊(bian)云(yun)協同(tong)的實現路(lu)徑這一話題進行分享，同(tong)時將從開源商業(ye)化角度，讓大(da)家(jia)更(geng)加深入地了解 TDengine 企業(ye)版的價值(zhi)。

工業賦能，從邊到云

在工業互(hu)聯(lian)(lian)網(wang)場景(jing)中(zhong)，邊緣設備只能處理局(ju)部數據，無法形(xing)成(cheng)全局(ju)認知，在實(shi)際(ji)應用中(zhong)仍(reng)然需要借助(zhu)云計算平臺(tai)來實(shi)現信息(xi)的融合。在此(ci)背(bei)景(jing)下(xia)，邊云協(xie)同正逐漸成(cheng)為支撐工業互(hu)聯(lian)(lian)網(wang)發展的重要支柱。

邊(bian)云(yun)(yun)協同(tong)主要是對(dui)于生(sheng)產(chan)鏈(lian)條(tiao)上的(de)某一項(xiang)或某幾項(xiang)數據(ju)(ju)(ju)，進行實時告警、實時大屏監測，比如車間(jian)里實時生(sheng)產(chan)的(de)數據(ju)(ju)(ju)。同(tong)時還會將這(zhe)些邊(bian)緣(yuan)側生(sheng)產(chan)的(de)數據(ju)(ju)(ju)及時同(tong)步到云(yun)(yun)上大數據(ju)(ju)(ju)平臺。

雖然邊緣(yuan)側(ce)(ce)(ce)(ce)對實(shi)時(shi)(shi)性的(de)(de)(de)要求(qiu)是最高(gao)的(de)(de)(de)，但(dan)其數據(ju)量并不大，可能一(yi)(yi)個(ge)車間(jian)只(zhi)有小到幾(ji)千或大到幾(ji)萬個(ge)監測(ce)點需要存儲。而集(ji)團(tuan)側(ce)(ce)(ce)(ce)匯(hui)聚了(le)更(geng)多的(de)(de)(de)計(ji)算資(zi)源(yuan)，比如(ru)(ru)在這一(yi)(yi)側(ce)(ce)(ce)(ce)可以搭建(jian)一(yi)(yi)個(ge)私有云(yun)，那它(ta)就會把邊緣(yuan)側(ce)(ce)(ce)(ce)的(de)(de)(de)數據(ju)也收(shou)集(ji)過(guo)來，專門用(yong)來做一(yi)(yi)些(xie)計(ji)算。如(ru)(ru)果我們訓(xun)練(lian)好一(yi)(yi)個(ge)模型，再把這個(ge)模型下(xia)發(fa)到邊緣(yuan)側(ce)(ce)(ce)(ce)，在邊緣(yuan)側(ce)(ce)(ce)(ce)就能進行(xing)更(geng)多預測(ce)性的(de)(de)(de)分析。因此(ci)，邊云(yun)協(xie)同的(de)(de)(de)整體邏輯就是，實(shi)時(shi)(shi)報警(jing)收(shou)集(ji)到邊緣(yuan)側(ce)(ce)(ce)(ce)產生的(de)(de)(de)數據(ju)，云(yun)上訓(xun)練(lian)好模型再下(xia)發(fa)下(xia)去，如(ru)(ru)此(ci)循環反復。

而要(yao)(yao)實現(xian)這(zhe)(zhe)一(yi)(yi)操作(zuo)，對數(shu)據(ju)庫(ku)或(huo)者說對數(shu)據(ju)存儲層(ceng)的(de)(de)要(yao)(yao)求就是要(yao)(yao)確保(bao)數(shu)據(ju)能(neng)夠逐級(ji)上報(bao)，以及數(shu)據(ju)有(you)選(xuan)擇性(xing)的(de)(de)上報(bao)。在有(you)些場(chang)景(jing)中(zhong)，整(zheng)體數(shu)據(ju)總量非常(chang)大(da)，我們需要(yao)(yao)有(you)選(xuan)擇地從底層(ceng)往上層(ceng)去匯報(bao)數(shu)據(ju)，比(bi)如對一(yi)(yi)開始(shi)(shi)一(yi)(yi)秒(miao)采(cai)(cai)(cai)一(yi)(yi)次的(de)(de)原始(shi)(shi)記錄，可(ke)能(neng)需要(yao)(yao)降采(cai)(cai)(cai)樣(yang)到一(yi)(yi)分鐘采(cai)(cai)(cai)一(yi)(yi)次，這(zhe)(zhe)種降采(cai)(cai)(cai)樣(yang)的(de)(de)數(shu)據(ju)仍然(ran)可(ke)以保(bao)留一(yi)(yi)定的(de)(de)信息，可(ke)用(yong)于跑批分析(xi)長(chang)期數(shu)據(ju)。

以(yi) TDengine 為例(li)(li)，我們舉一個具體的實例(li)(li)。在此前的老數(shu)采流(liu)程中(zhong)，數(shu)據是(shi)從工業邏輯控制(zhi)器 PLC 中(zhong)采集，之后進(jin)入 Historian，即(ji)工業實時(shi)庫(ku)，然后再(zai)支撐業務應用。這種(zhong)操作存在三個缺點：主(zhu)備架(jia)構，不(bu)易水平擴(kuo)展；依賴(lai) Windows 等(deng)環境；生態相對封(feng)閉。

后面 TDengine 在邊緣側替(ti)換了原有單(dan)機版(ban)的 Historian 數(shu)據(ju)庫。現在的一個(ge)設計(ji)思(si)路就是采集數(shu)據(ju)從(cong) PLC 通(tong)過(guo) OPC Server，接(jie)入到(dao) TDengine 當中，而(er) TDengine 本身(shen)在車間側就可(ke)(ke)以支(zhi)撐實(shi)時的業務，同(tong)時包(bao)括一些(xie)實(shi)時報警、實(shi)時大屏等(deng)需求。企業可(ke)(ke)以利用 TDengine 提供(gong)的邊云協同(tong)能力(li)，把數(shu)據(ju)發送到(dao)云上的大數(shu)據(ju)平臺中。

邊云協同實現的關鍵，TDengine 3.0 企業級工具 taosX

讓 TDengine 實現邊云協同能力的一(yi)個關(guan)鍵(jian)就是 TDengine 3.0 發(fa)布的企業(ye)級(ji)工具 taosX，它(ta)具有以(yi)下(xia)五(wu)點特性：

• 百萬條/秒同步效率
• 可配置的同步規則
• 實時流計算結果同步
• 支持重新訂閱，斷點續傳
• 歷史數據遷移

在 2.0 版本中，數據訂(ding)閱(yue)的(de)實(shi)現路徑是(shi)在數據寫入(ru)后，通過輪詢方式將(jiang)數據訂(ding)閱(yue)出來，本質上可以(yi)解(jie)決大部分問題，但(dan)仍然(ran)還有(you)優化的(de)空(kong)間。因為 WAL 本身就是(shi)支持訂(ding)閱(yue)的(de)，在 3.0 中，我們把 WAL 重新進行了升(sheng)級，可以(yi)訂(ding)閱(yue)所有(you)的(de)寫入(ru)、更新甚至刪除操(cao)作，只(zhi)要(yao)是(shi)對數據庫的(de)操(cao)作都可以(yi)訂(ding)閱(yue)。

通過(guo) TDengine 訂閱(yue)(yue)(yue)方式(shi)，企業(ye)可以實現邊(bian)到云的(de)實時(shi)同(tong)步數(shu)(shu)據(ju)(ju)，訂閱(yue)(yue)(yue)方式(shi)允許設置篩選(xuan)條件，可以有選(xuan)擇(ze)性(xing)地同(tong)步數(shu)(shu)據(ju)(ju)，同(tong)時(shi)，訂閱(yue)(yue)(yue)發起方還(huan)能夠主動(dong)配置訂閱(yue)(yue)(yue)對象和數(shu)(shu)據(ju)(ju)過(guo)濾規則。這樣就很好地保證(zheng)了所有數(shu)(shu)據(ju)(ju)都可以從一(yi)個集群(qun)同(tong)步到第二個集群(qun)，包括離線(xian)亂序數(shu)(shu)據(ju)(ju)，這也是 taosX 做的(de)最重要的(de)一(yi)個事情，它(ta)可以支持實時(shi)的(de)數(shu)(shu)據(ju)(ju)同(tong)步，包括離線(xian)的(de)增量(liang)備份、邊(bian)端到云端的(de)數(shu)(shu)據(ju)(ju)協(xie)同(tong)。

TDengine 3.0 利用 taosX 實現邊云協同的思路如下：在車(che)間側，數據(ju)采集完成之(zhi)后會(hui)進入 TDengine，首先經過 TMQ 消息隊列(lie)，其中(zhong)一部(bu)分數據(ju)有選擇性地并(bing)入到本地的 TDengine 集群 1 中(zhong)。之(zhi)后我們可以(yi)在集團側部(bu)署 taosX ，它會(hui)去(qu)訂閱車(che)間側 TMQ 消息隊列(lie)中(zhong)的數據(ju)，為(wei)了達(da)成業務需(xu)(xu)(xu)求，可能這里需(xu)(xu)(xu)要(yao)由數據(ju)分析工程師設置一些訂閱規(gui)則，比如數據(ju)需(xu)(xu)(xu)要(yao)經過降(jiang)采樣再進來或者只(zhi)關(guan)心閾值(zhi)超過定(ding)值(zhi)的數據(ju)。之(zhi)后 taosX 會(hui)把(ba)數據(ju)同步到 TDengine 集群 2，集群 2 可以(yi)支(zhi)持報表分析等(deng)更大維度的分析工作。

該實現思路主要有以下四點優勢：

• 數據跨區同步自動化程度大大提高、錯誤率降為零
• 數據無需緩存，減少批量發送，避免流量高峰阻塞帶寬
• 通過訂閱方式同步數據，集團不再依賴下級單位配置同步規則
• 邊云均采用 TDengine，數據模型完全統一，降低數據治理難度

要知道，制造業(ye)(ye)企業(ye)(ye)通常面臨的(de)(de)一個(ge)痛(tong)點問題就(jiu)是數(shu)(shu)據同(tong)步的(de)(de)問題，業(ye)(ye)內通常都(dou)是離(li)線(xian)傳輸數(shu)(shu)據，比如積攢一個(ge)星期(qi)，一下傳一個(ge) T 的(de)(de)數(shu)(shu)據，要么人拿著(zhu)移動硬(ying)盤去現(xian)場拷，浪費人力成本；要么開 VPN 專線(xian)定(ding)期(qi)同(tong)步，將數(shu)(shu)據導出(chu)成壓縮文件進行傳輸，但這種情況 VPN 都(dou)會出(chu)現(xian)一些短暫帶寬的(de)(de)阻塞，對(dui)其他業(ye)(ye)務(wu)生(sheng)產產生(sheng)一定(ding)沖擊。TDengine 3.0 的(de)(de)企業(ye)(ye)級工具 taosX 實(shi)(shi)現(xian)了(le)數(shu)(shu)據的(de)(de)實(shi)(shi)時同(tong)步，并(bing)且是可配(pei)置的(de)(de)，而自動化(hua)數(shu)(shu)據同(tong)步是實(shi)(shi)現(xian)邊(bian)云協同(tong)的(de)(de)最好思路，避免了(le)定(ding)期(qi)傳輸大數(shu)(shu)據量，導致的(de)(de)資源浪費和帶寬阻塞風(feng)險。

此外，由于邊端和云端都是通(tong)過(guo)(guo) TDengine 去存儲(chu)數(shu)據(ju)(ju)(ju)，它(ta)的(de)數(shu)據(ju)(ju)(ju)模型相(xiang)對來(lai)說比較(jiao)統一。之前我們遇到一些(xie)客戶反饋痛點(dian)問題，他們在邊緣側(ce)(ce)(ce)搭建(jian)的(de)工(gong)業實時(shi)庫種類繁多，數(shu)據(ju)(ju)(ju)需要統一收集(ji)到平臺側(ce)(ce)(ce)，這時(shi)就需要把各(ge)個(ge)實時(shi)數(shu)據(ju)(ju)(ju)庫里的(de)數(shu)據(ju)(ju)(ju)模型進(jin)行歸(gui)一化(hua)，比如平臺側(ce)(ce)(ce)通(tong)過(guo)(guo)單側(ce)(ce)(ce)點(dian)抑(yi)或用多側(ce)(ce)(ce)點(dian)方式去描述(shu)設備數(shu)據(ju)(ju)(ju)，這就需要投入很大的(de)人(ren)力(li)財力(li)去做數(shu)據(ju)(ju)(ju)治(zhi)理。

但是如果從 TDengine 到(dao)(dao) TDengine，它的(de)(de)表結構和數(shu)據(ju)的(de)(de)設計模型完全(quan)不用變，因為邊緣側和云上進行數(shu)據(ju)操作的(de)(de)方式都是一致的(de)(de)。從車間側到(dao)(dao)集控(kong)中心，再從集控(kong)中心到(dao)(dao)整個(ge)集團的(de)(de)云平(ping)臺(tai)，TDengine 3.0 實現了(le)數(shu)據(ju)的(de)(de)多級同(tong)步。

從企業級工具聊聊開源的商業模式

When we call software “free,” we mean that it respects the users’ essential freedoms: the freedom to run it, to study and change it, and to redistribute copies with or without changes. This is a matter of freedom, not price, so think of “free speech,” not “free beer.”

– Richard Stallman

最后回歸(gui)一(yi)下本次(ci)演講的主題，和(he)大家一(yi)起聊聊開(kai)源(yuan)的商業模(mo)式。目前，TDengine 3.0 也(ye)已(yi)經在 GitHub 上開(kai)放了(le)代碼，從 2019 年 TDengine 宣布(bu)開(kai)源(yuan)，到現在已(yi)經 3 年的時間了(le)。開(kai)源(yuan)的模(mo)式真正(zheng)拉近(jin)了(le) TDengine 和(he)一(yi)眾開(kai)發者(zhe)的距離，也(ye)讓 TDengine 的每一(yi)次(ci)迭代創新都伴隨著(zhu)用戶的聲音。

我特別喜歡(huan)上面展示(shi)的自由軟件(jian) Free Software Foundation 的創(chuang)始人 Richard Stallman 所(suo)說的那段話，“Open Source Is FREE”，但“FREE”并非(fei)代表著免費(fei)，而(er)是自由。

以(yi) TDengine 為例，任(ren)何人都可(ke)以(yi)以(yi)自己想要表現的形式，在(zai)遵守開(kai)源(yuan)協議的前提下，可(ke)以(yi)復制改寫(xie) TDengine 的代(dai)碼，但這并不代(dai)表它是(shi)一(yi)個(ge)(ge)“free beer”。開(kai)源(yuan)的核心邏輯(ji)是(shi)向大家展示(shi)這個(ge)(ge)項目是(shi)自由(you)的，只要你有興趣你就可(ke)以(yi)參與進來，盡可(ke)能把自己的聰明才智(zhi)融入(ru)到(dao)開(kai)源(yuan)社(she)區的建設中，而非簡單地指“使用”。

做開源項目是(shi)(shi)一(yi)個(ge)(ge)既(ji)需(xu)(xu)要(yao)勇氣也(ye)需(xu)(xu)要(yao)努力(li)的(de)(de)(de)事情，說(shuo)實話(hua)我(wo)們也(ye)遇到過很(hen)多困境，比如在(zai)支(zhi)持(chi)社(she)區(qu)用(yong)戶時遭遇的(de)(de)(de)一(yi)些誤解，個(ge)(ge)別用(yong)戶可能會覺得你(ni)們團(tuan)隊是(shi)(shi)不(bu)(bu)是(shi)(shi)反應(ying)有點慢，但是(shi)(shi)其實真不(bu)(bu)是(shi)(shi)，我(wo)們真的(de)(de)(de)已經投入很(hen)多了。TDengine 作為一(yi)個(ge)(ge)開源項目，不(bu)(bu)應(ying)該只有濤思(si)數據一(yi)個(ge)(ge)團(tuan)隊在(zai)奮戰，我(wo)們希望通過各(ge)種形(xing)式(shi)，讓全球更多的(de)(de)(de)開發(fa)(fa)者了解 TDengine，參與到 TDengine 的(de)(de)(de)使用(yong)和開發(fa)(fa)之中，共建 TDengine 開源社(she)區(qu)，這才是(shi)(shi)開源“free”的(de)(de)(de)表現。

說回到主(zhu)題，我認(ren)為(wei)(wei)開源(yuan)的(de)(de)(de)商業模式(shi)是(shi)必須(xu)且有理由(you)存在(zai)的(de)(de)(de)，因為(wei)(wei)公(gong)司要活(huo)下(xia)去，而(er)公(gong)司本身就是(shi)一(yi)個以盈利為(wei)(wei)目的(de)(de)(de)的(de)(de)(de)團體。從過去到現在(zai)，開源(yuan)的(de)(de)(de)商業模式(shi)大致可以劃分為(wei)(wei)以下(xia) 5 種路徑：

• Donations 捐贈
• Hosted Service 托管服務
• Paid Support or Courses 付費支持或培訓
• Open Core 開源核心，提供付費增強功能/工具
• Dual Licensing 雙協議

TDengine 目(mu)前走的(de)開(kai)源(yuan)(yuan)商業化道路就是“Open Core 開(kai)源(yuan)(yuan)核心，提(ti)(ti)供(gong)付費增(zeng)強功(gong)能/工具(ju)”。我們(men)的(de)核心代碼保證全(quan)部(bu)開(kai)源(yuan)(yuan)，用戶(hu)可以(yi)去感受產(chan)品的(de)價值(zhi)，但(dan)同時我們(men)會提(ti)(ti)供(gong)很多增(zeng)強功(gong)能，比如一(yi)些能夠升級(ji)數據備份、安全(quan)保障的(de)工具(ju)。這些工具(ju)也(ye)需(xu)要投入很多精(jing)力和努力去進行研發，會作為一(yi)種增(zeng)值(zhi)方式提(ti)(ti)供(gong)給用戶(hu)。

在對商業化(hua)(hua)不斷(duan)探索(suo)的過程(cheng)中(zhong)，TDengine 也開發出了很(hen)多強大(da)的輔助功能去服(fu)務用戶，除了上文(wen)中(zhong)提(ti)到的邊云數據協同，還包括冷熱數據自(zi)動分級存儲、企業級可視化(hua)(hua)運維管理工(gong)具、支持快速刪除（Delete）、支持多列輸入用戶自(zi)定(ding)義函數（UDF）、提(ti)供異地容災、備(bei)份解決(jue)方案(an)。

在保證系統穩定性和透明(ming)性上，TDengine 企業版(ban)也(ye)做(zuo)了(le)(le)很多工(gong)作，通(tong)過(guo)設計更優的(de)(de)內存分配器、更穩健(jian)的(de)(de)版(ban)本迭代策(ce)略、更多的(de)(de)運維支持(chi)服務實現(xian)了(le)(le)更加優秀的(de)(de)穩定性，同時(shi)為了(le)(le)讓(rang)用戶用的(de)(de)放心，我們配套了(le)(le)監控 taosKeeper，能夠(gou)對(dui)可觀測性進行更詳細的(de)(de)統計，它還可以無縫集成到 Prometheus 的(de)(de)監控系統中。

針對 TDengine 企業版(ban)，我們還(huan)提供了“保(bao)姆級”的專(zhuan)家技(ji)術服務(wu)，服務(wu)方式分(fen)為以(yi)下(xia)三類：

• 開發支持服務：包括產品使用培訓、數據建模咨詢、架構設計咨詢、代碼開發支持，比如說從 Kafka 接數據到 TDengine，如何做才是最高效的、如何去配置 Kafka 的參數，如何保證數據的有效性、時序性。這些支持能夠幫助客戶把 TDengine 的能力最大化發揮出來。
• 運維支持服務：不管是 TDengine 還是 Oracle，任何一款數據庫到后期都需要一個強保護，在業務安全性要求下，數據的備份、遷移，系統的性能調優、高可用保障、7*24 故障恢復等等都需要一個強有力的支持。如果因手動遷移導致數據文件損壞，或者是因為一個錯誤導致數據難以恢復，給整個集團造成的損失可能不可估量。也因此，集團需要專業級的廠商去提供這些服務，這也是我們對企業級客戶提供的價值。
• 定制化服務：包括定制化 PoC 測試服務、OEM 版本發行、定制化 UDF 開發、其他定制化開發服務。對一些用戶而言，他可能想要讓 TDengine 跑在自己開發的硬件上，那就需要我們協助他做一些 PoC 測試來適配這一硬件，而對于一些業務的復雜查詢，我們也可以通過 UDF 方式去做定制化。通過定制化服務來賦能用戶，支持他們將 TDengine 更加深入地融合到自身業務當中。

最(zui)后(hou)，給大家做一個預告(gao)，TDengine 的(de)云(yun)服務(wu)升級版也(ye)將很(hen)快與(yu)大家正式(shi)見面。新的(de)云(yun)服務(wu)基于 TDengine 3.0 云(yun)原(yuan)生(sheng)架構，不僅最(zui)大限度地實現了彈(dan)性擴容，還可以讓用(yong)戶按需去(qu)付費，不再因數據的(de)增(zeng)量或縮容頻繁變動而受阻。同時這也(ye)是一個完全(quan)(quan)零管(guan)(guan)理、完全(quan)(quan)將后(hou)臺托(tuo)管(guan)(guan)給濤思業(ye)務(wu)團隊的(de)服務(wu)，支持多(duo)云(yun)且絕對保證數據備份和安(an)全(quan)(quan)。

今(jin)天(tian)我的(de)(de)演講就到這里，感謝(xie)大(da)家。希望未(wei)來有越來越多(duo)的(de)(de)用戶支持(chi) TDengine 企業版，也能有越來越多(duo)的(de)(de)開(kai)發者加入 TDengine 的(de)(de)開(kai)源社(she)區中來。