隨(sui)著(zhu)物聯(lian)網等新(xin)興技術的加速發(fa)展(zhan)，傳統(tong)企業(ye)紛紛開(kai)始進(jin)行數(shu)(shu)字(zi)(zi)化轉型。在此過程(cheng)中，數(shu)(shu)據技術的重(zhong)要性不言(yan)而喻。作為企業(ye)發(fa)展(zhan)的寶(bao)貴(gui)資產，數(shu)(shu)據處(chu)理能力(li)與業(ye)務發(fa)展(zhan)需(xu)求(qiu)息息相關(guan)，數(shu)(shu)據架構的迭代升(sheng)級也是企業(ye)在數(shu)(shu)字(zi)(zi)化轉型下持續探索的一(yi)大(da)主題。

8 月 13 日，由濤思數據舉辦的前沿數據技術交流盛會「 TDengine 開發者大會」在(zai)北(bei)京·昆泰嘉瑞文化中心(xin)正(zheng)式舉(ju)辦(ban)。在(zai)本次大會(hui)上，濤思數據創(chuang)始(shi)人陶建輝、小(xiao)米集(ji)團副總(zong)裁(cai)崔寶秋博士、明(ming)勢資本創(chuang)始(shi)合(he)伙人黃明(ming)明(ming)等(deng)數十位重磅嘉賓，為(wei)(wei)與會(hui)者(zhe)貢獻了(le)(le)關(guan)于(yu)開源(yuan)、基礎軟件的未來趨勢解讀，以及(ji)有關(guan)物聯(lian)網、IT 運維等(deng)項目的數據架構升級經驗。同時(shi)，濤思數據宣布了(le)(le) TDengine 3.0 的重磅發布，并一(yi)一(yi)揭秘了(le)(le)其核心(xin)特(te)性(xing)，諸(zhu)多顛覆性(xing)創(chuang)新思路(lu)讓參會(hui)者(zhe)一(yi)睹為(wei)(wei)快。

“百家爭鳴”，思想碰撞下定位開源與基礎軟件的未來

TDengine 從(cong) 2019 年 7 月就宣(xuan)布(bu)了核心代碼開(kai)源(yuan)，2020 年 8 月又宣(xuan)布(bu)了集群(qun)開(kai)源(yuan)，在開(kai)源(yuan)力量的影(ying)響下，發(fa)展(zhan)(zhan) 5 年，TDengine 的用(yong)戶(hu)實例已經接近(jin) 14 萬例，發(fa)展(zhan)(zhan)了 100+ 企業用(yong)戶(hu)。

一直以(yi)來，TDengine 的技術創新都是(shi)以(yi)用戶需求為出(chu)發點。本(ben)次(ci)大會(hui)(hui)也(ye)邀請(qing)到(dao)了京東(dong)科技 IoT 產品部技術總(zong)監(jian)閆(yan)政和中通(tong)科技資深架(jia)構師黃國石來到(dao)現場，為與(yu)會(hui)(hui)者講述 TDengine 在京東(dong)云物聯(lian)網(wang)(wang)產業場景及中通(tong)物流配送業務(wu)下(xia)車聯(lian)網(wang)(wang)服務(wu)平臺(tai)的應用故事。

作為(wei)一種新的(de)(de)商業創新模(mo)式，開源(yuan)的(de)(de)力量我們有(you)目共睹，但關(guan)于開源(yuan)的(de)(de)價值和意義，一千個人眼中有(you)一千個哈姆雷特，百(bai)萬個人心中有(you)百(bai)萬種定義。在(zai)大(da)會主(zhu)論壇上，小米集團(tuan)副總裁崔(cui)寶秋博(bo)士帶領(ling)大(da)家回歸(gui)開源(yuan)的(de)(de)本質，探索開源(yuan)的(de)(de)意義。

圖(tu)/小(xiao)米集(ji)團副總(zong)裁崔寶秋(qiu)博士他表示，在互聯(lian)網、大數據和人工智能時代，開(kai)(kai)(kai)源(yuan)(yuan)是(shi)(shi)人類技(ji)術進步的(de)(de)最佳平(ping)(ping)臺和模式，但開(kai)(kai)(kai)源(yuan)(yuan)并(bing)不只是(shi)(shi)一(yi)種提升技(ji)術品牌的(de)(de)方法、抑或(huo)是(shi)(shi)軟件分(fen)發的(de)(de)手段，它的(de)(de)出(chu)發點應該是(shi)(shi)利他主(zhu)義(yi)和長期主(zhu)義(yi)。“德不孤，必有鄰”，開(kai)(kai)(kai)源(yuan)(yuan)項(xiang)目如果(guo)一(yi)開(kai)(kai)(kai)始就秉承開(kai)(kai)(kai)放、共享(xiang)、平(ping)(ping)等、協同、創新(xin)的(de)(de)開(kai)(kai)(kai)源(yuan)(yuan)之道(dao)，一(yi)定(ding)會有非常多的(de)(de)共建者(zhe)自愿加(jia)入。

一定程度上，開源的力量幫助 TDengine 贏得了國內外的市場，成為眾多企業的首選時序數據庫（Time Series Database，TSDB）之一，但如果想要持(chi)續成(cheng)功(gong)，技術上也要不斷的創新，始終領先于“copy”者，只有這樣(yang)才能真正實現開源的“利他主義”和“長期主義”。

圖/TDengine 創始人(ren)陶建輝在(zai) TDengine 創始人(ren)陶建輝帶來的《高性能、云原生(sheng)的極(ji)簡時(shi)(shi)(shi)序數(shu)(shu)據(ju)處理平臺》分(fen)享中，我們看到了 TDengine 從(cong) 1.0 到 2.0 再(zai)到 3.0 的不(bu)斷迭代(dai)升級，技術(shu)的發展也在(zai)反哺(bu)著(zhu)開源社區，短短三(san)年間，TDengine 在(zai) GitHub 上的 star 數(shu)(shu)已經(jing)超(chao)過(guo) 18.8k，issue 數(shu)(shu)達(da)到了 15921。而(er)新(xin)鮮出(chu)爐的 TDengine 3.0，打造的云原生(sheng)數(shu)(shu)據(ju)庫、極(ji)簡時(shi)(shi)(shi)序數(shu)(shu)據(ju)平臺、便捷的數(shu)(shu)據(ju)分(fen)析等特點更是(shi)對時(shi)(shi)(shi)序數(shu)(shu)據(ju)庫進行了重新(xin)定(ding)義。

盡管中國基礎軟(ruan)(ruan)件(jian)領域已經出(chu)現了諸如(ru) TDengine 等(deng)數(shu)百個國產(chan)(chan)替代產(chan)(chan)品，但(dan)市場(chang)仍然(ran)被 Windows、Linux、MySQL、Oracle 等(deng)海外玩家壟(long)斷(duan)。無(wu)論(lun)是數(shu)據(ju)庫還是操(cao)作系(xi)統軟(ruan)(ruan)件(jian)，國內的市場(chang)幾乎一(yi)片空白。在(zai)這(zhe)種(zhong)發展現狀下，中國基礎軟(ruan)(ruan)件(jian)的下一(yi)步路(lu)要怎(zen)么(me)走？

圖/明勢資本創始(shi)合(he)伙(huo)人(ren)黃明明明勢資本創始(shi)合(he)伙(huo)人(ren)黃明明認為，二十一(yi)世紀以(yi)來，中(zhong)國(guo)制造業(ye)(ye)(ye)崛起，亟需與之匹配的(de)基(ji)礎(chu)軟(ruan)(ruan)件(jian)，而根植于上一(yi)代領先(xian)制造業(ye)(ye)(ye)玩(wan)家的(de)基(ji)礎(chu)軟(ruan)(ruan)件(jian)產(chan)品，已經難(nan)以(yi)滿(man)足更大產(chan)值、更大場(chang)景、更新玩(wan)家的(de)需求，中(zhong)國(guo)企業(ye)(ye)(ye)在新一(yi)代基(ji)礎(chu)軟(ruan)(ruan)件(jian)戰場(chang)上大有(you)可為。在這種(zhong)有(you)利背景下，技術的(de)開(kai)放(fang)開(kai)源可以(yi)成為基(ji)礎(chu)軟(ruan)(ruan)件(jian)占領市(shi)場(chang)的(de)一(yi)種(zhong)手段，它將幫(bang)助企業(ye)(ye)(ye)打(da)破信任瓶頸，向海外市(shi)場(chang)進軍。

可以說，用好開(kai)(kai)源，國(guo)內軟(ruan)件市場就(jiu)有望突(tu)出重圍，開(kai)(kai)放(fang)開(kai)(kai)源已經(jing)成(cheng)(cheng)為(wei)(wei)顛覆基(ji)礎軟(ruan)件現有市場格(ge)局的(de)重要(yao)手段。但在開(kai)(kai)源已經(jing)成(cheng)(cheng)為(wei)(wei)趨勢的(de)當下，開(kai)(kai)源想(xiang)要(yao)成(cheng)(cheng)功也(ye)需要(yao)正確的(de)“道”與“術”。在主論(lun)壇(tan)的(de)圓桌討(tao)論(lun)環節(jie)，幾位嘉(jia)賓就(jiu)以此為(wei)(wei)主題進行(xing)了一輪思想(xiang)碰撞。

本次討論的一(yi)個共(gong)性思想(xiang)就(jiu)是開源想(xiang)要成功，產品本身的調性和(he)創新非常重要，開源項(xiang)目被打造(zao)出(chu)來的初(chu)衷一(yi)定(ding)是想(xiang)要解決某些場景的共(gong)性痛點問題，做有價值的事情，而想(xiang)要持(chi)續吸(xi)引用戶和(he)開發者，還需要技術(shu)(shu)創新來不斷產生新鮮的血液。此外，開源項(xiang)目一(yi)定(ding)要具(ju)有全球化(hua)思維，可以通(tong)過(guo)擁抱云原生等新興技術(shu)(shu)來打通(tong)國(guo)內外的開源市場。

“技術與創新”，TDengine 3.0 帶來時序數據庫的革命性突破

TDengine 3.0 的重(zhong)磅(bang)出爐讓(rang)一眾參會者(zhe)矚目，為了(le)(le)讓(rang)TDengine 社(she)區開發者(zhe)、關(guan)注者(zhe)和(he)企業(ye)用戶更加全(quan)面地了(le)(le)解了(le)(le) 3.0 的相關(guan)技(ji)術(shu)(shu)和(he)功能，在大會下午的核心技(ji)術(shu)(shu)專場上，核心研發人員進行了(le)(le)一系(xi)列關(guan)于(yu) 3.0 的功能點及核心技(ji)術(shu)(shu)的演講。

近些年來，雖然市面上的時序數(shu)據庫產品(pin)層出不窮，但業內的諸多難題(ti)(ti)還未解決，包括與延遲相關(guan)的 High-Cardinality 問題(ti)(ti)，靠第(di)三(san)方工具實現流處理、緩存和(he)數(shu)據訂閱功能(neng)所帶(dai)來的復雜度問題(ti)(ti)，沒有真正實現云原(yuan)生(sheng)(sheng)問題(ti)(ti)等。TDengine 3.0 正是在這種背(bei)景下應運而生(sheng)(sheng)的。

作為一款真正的(de)云原生(sheng)時(shi)(shi)序數據(ju)庫，TDengine 3.0 重構了(le)分布(bu)式架構，引(yin)入(ru) RAFT 一致性協議，可以(yi)支持 10 億個(ge)時(shi)(shi)間線、100 個(ge)節點，徹(che)底(di)解(jie)決了(le)時(shi)(shi)序數據(ju)處(chu)理(li)里(li)的(de)“高基數”問(wen)題；完善并(bing)優(you)化(hua)了(le)對消息隊列、流式計(ji)算和緩存的(de)支持，可作為一個(ge)極簡的(de)時(shi)(shi)序數據(ju)處(chu)理(li)平臺，解(jie)決了(le)系統設計(ji)復(fu)雜且難以(yi)維護的(de)問(wen)題；對計(ji)算引(yin)擎(qing)進行了(le)全新設計(ji)優(you)化(hua)，可提供便捷(jie)、完備的(de)數據(ju)分析功能(neng)。

此外，TDengine 從 1.0 到 2.0 再(zai)到 3.0，存(cun)儲(chu)引(yin)擎(qing)(qing)也在(zai)一(yi)路升級，TDengine 3.0 更(geng)是對(dui)存(cun)儲(chu)引(yin)擎(qing)(qing)進(jin)行(xing)了全新實(shi)現，包含“多(duo)引(yin)擎(qing)(qing)混合(he)存(cun)儲(chu)”、“針對(dui)多(duo)維度時(shi)序(xu)數據的(de)(de)存(cun)儲(chu)優化”兩大創(chuang)新點(dian)。此前，TDengine 憑借(jie)“一(yi)個設備一(yi)張表”、“超級表”的(de)(de)兩大創(chuang)新設計，已經實(shi)現了較高的(de)(de)存(cun)儲(chu)性(xing)能，在(zai) 3.0 對(dui)存(cun)儲(chu)引(yin)擎(qing)(qing)進(jin)行(xing)優化升級后，存(cun)儲(chu)性(xing)能更(geng)上(shang)一(yi)層樓(lou)。

除上述 3.0 的(de)諸多(duo)特(te)色外，TDengine 還(huan)提供了眾多(duo)的(de)輔助功能(neng)：支(zhi)持(chi)更(geng)強大靈活(huo)的(de)標(biao)簽索(suo)引、基于時(shi)間段的(de)預計算、支(zhi)持(chi) Schemaless 以及更(geng)多(duo)的(de)寫入(ru)協議、支(zhi)持(chi) Grafana、Google Data Studio 等眾多(duo)第三方工具，支(zhi)持(chi)數據增量備份、異地容(rong)災、邊(bian)云協同等。

目前(qian) 3.0 的所有核心代(dai)碼也已(yi)經在 GitHub 上正式公(gong)開，方便 TDengine 的關注者和支持者下載并體(ti)驗(yan)。

開源地址：

“發展與實踐”，物聯網、IT 運維的數據架構升級經驗

物聯(lian)網(wang)、IT 運維等場(chang)景(jing)下，海量碎(sui)片化設備和巨量時序數據(ju)給企業平臺發(fa)展帶來(lai)了一系列新(xin)的(de)要求和新(xin)的(de)技(ji)術挑戰。本次大(da)會邀請(qing)了順豐科技(ji)、跨越(yue)速運、OPPO、韻(yun)達和觀測云(yun)等一眾企業客(ke)戶，分享(xiang)他(ta)們在物聯(lian)網(wang)、IT 運維場(chang)景(jing)下的(de)數據(ju)架構升級經驗。

在順豐(feng)科(ke)技的大數(shu)(shu)據監控平臺中(zhong)，此前(qian)采(cai)用的 OpenTSDB+HBase 的全(quan)量監控數(shu)(shu)據存(cun)儲(chu)方案，存(cun)在依賴多、使用成本高和性能無法滿足數(shu)(shu)據處理(li)需求等(deng)問題。為此順豐(feng)科(ke)技決定對全(quan)量監控數(shu)(shu)據存(cun)儲(chu)方案進行升級(ji)，最終在 IoTDB、Druid、ClickHouse、TDengine 幾(ji)款數(shu)(shu)據庫中(zhong)選擇了 TDengine 并進行實際應用。

順豐科技大數據平臺(tai)研發高級工程師尹飛表示(shi)，完成改(gai)造后(hou)，順豐大數據監控(kong)平臺(tai)擺脫了(le)對大數據組件的(de)依賴，有效縮短了(le)數據處理鏈(lian)路(lu)。在寫入和查詢方面(mian)均有顯著提升(sheng)，同時服(fu)務(wu)端物理機(ji)由 21 臺(tai)降至 3 臺(tai)，每日所需存(cun)儲空間為 93GB（2 副本(ben)），同等副本(ben)下僅為 OpenTSDB+HBase 的(de)約(yue) 1/10，在降本(ben)增效上顯示(shi)出了(le)非常大的(de)優勢。

無(wu)獨(du)有偶(ou)，OPPO 的穿(chuan)戴(dai)產品類業務(wu)具有寫(xie)入(ru)量巨大(da)且(qie)存在(zai)離線/歷(li)史數據補(bu)錄(lu)（更新(xin)）的處理需求(qiu)，從提升(sheng)用戶體驗(yan)角(jiao)度來講，還要具備(bei)高效的讀(du)寫(xie)效率(lv)以及(ji)消費類數據的長(chang)時間保存。此前(qian)使用的 MongoDB/MySQL 集群(qun)方案，后(hou)端存儲壓力較(jiao)大(da)，需要經常擴盤，同時各個(ge)集群(qun)都(dou)比較(jiao)獨(du)立，維(wei)護和需求(qiu)開發成本(ben)相對較(jiao)高。

“經(jing)歷了從 MySQL 到(dao) MongoDB 再到(dao) Prometheus 最后到(dao) TDengine 的(de)(de)架(jia)構(gou)選(xuan)型之(zhi)路，我們的(de)(de)選(xuan)型要(yao)素(su)主要(yao)有三點：首先(xian)，以業務為中(zhong)心(xin)，找到(dao)業務中(zhong)需要(yao)解決的(de)(de)關鍵問題，通過(guo)對比不同架(jia)構(gou)選(xuan)型的(de)(de)表現結果進行(xing)篩選(xuan)；其次，系統要(yao)最少修(xiu)改，即通過(guo)較(jiao)少的(de)(de)改動就能構(gou)建新的(de)(de)架(jia)構(gou)業務能力；第三，最易接(jie)入，在這一點上，豐富的(de)(de)讀寫兼容接(jie)口(kou)相(xiang)當重要(yao)，這便于端側業務的(de)(de)擴展。”OPPO 云計算(suan)中(zhong)心(xin)高級(ji)后端研發工程師唐(tang)恒建表示。

除了上述兩(liang)家企業，韻達(da)、觀測(ce)云和跨越速運在數據架(jia)構改造前(qian)同樣有諸多問題(ti)。韻達(da)此前(qian)采(cai)用(yong) MySQL 分(fen)區+索引方(fang)式(shi)(shi)處理訂單(dan)掃描量(liang)，面對每(mei)日億(yi)級的(de)數據量(liang)，MySQL 出現性能瓶頸，維護成本(ben)顯著(zhu)(zhu)增加；觀測(ce)云此前(qian)使用(yong)的(de) InfluxDB，出現 HA（高(gao)可(ke)用(yong)）集群(qun)模式(shi)(shi)無法水平(ping)擴(kuo)容，寫入性能約等(deng)于單(dan)機，且某(mou)云上 InfluxDB 云產品的(de)高(gao)可(ke)用(yong)集群(qun)版頂配規格仍(reng)無法滿足(zu)性能要求等(deng)等(deng)問題(ti)；跨越速運則是采(cai)用(yong) HBase 處理車(che)載定位設備數據，在需要查詢較大跨度時間數據時，系統的(de)性能就會顯著(zhu)(zhu)下降。

在應用 TDengine 進行(xing)(xing)系統(tong)改造后，韻達(da)的寫入速度和(he)查詢性能(neng)(neng)都(dou)有了顯著(zhu)提升(sheng)，寫入速度大(da)概為每秒 5000 行(xing)(xing)、常用的查詢基本可(ke)以(yi)在 1 秒之內完成；對于觀測云來說，TDengine 的邏(luo)輯設計使得其(qi)既(ji)可(ke)以(yi)滿(man)足高可(ke)靠，又能(neng)(neng)夠滿(man)足大(da)數(shu)據量級的讀寫需求，可(ke)以(yi)很好(hao)地支撐住多租戶(hu)模式下的系統(tong)性能(neng)(neng)；跨越速運(yun)的日(ri)增(zeng)磁盤大(da)小(xiao)從之前的單臺 22GB 下降到(dao) 1.4GB，機器資源(yuan)大(da)幅減少，運(yun)維(wei)成本顯著(zhu)降低。

從這些企(qi)(qi)業(ye)的(de)經驗中(zhong)我們能(neng)看到，對(dui)于企(qi)(qi)業(ye)數(shu)(shu)據(ju)架(jia)(jia)構升級，切中(zhong)業(ye)務痛點才是最重(zhong)要(yao)的(de)。在多家(jia)企(qi)(qi)業(ye)的(de)數(shu)(shu)據(ju)架(jia)(jia)構改造實踐中(zhong)，TDengine 都(dou)展現出了強大(da)的(de)讀寫性能(neng)和數(shu)(shu)據(ju)壓(ya)縮能(neng)力，幫助企(qi)(qi)業(ye)解決了各種大(da)數(shu)(shu)據(ju)處理(li)難題。相信(xin)隨(sui)著 3.0 的(de)優化，TDengine 可以更好地融(rong)入到物聯網、車聯網、IT 運(yun)維等使用場景中(zhong)。

結語

本次開發者大會的(de)(de)成(cheng)功(gong)舉辦(ban)，不僅是 TDengine 大力服務開發者和用戶的(de)(de)一個標志性事(shi)件(jian)，也為整(zheng)個行業(ye)的(de)(de)技術進步和未來發展(zhan)貢獻(xian)了(le)不小的(de)(de)力量(liang)，為關注開源的(de)(de)開發者提供了(le)眾多創新性觀(guan)點。

TDengine 3.0 的(de)(de)出(chu)爐徹底解決了業內的(de)(de)“High Cardinality”問題，作(zuo)為一款(kuan)真(zhen)正(zheng)的(de)(de)云原生(sheng)數據庫(ku)(ku)，它也為時序數據庫(ku)(ku)的(de)(de)發(fa)展帶(dai)來(lai)了一場(chang)革命(ming)性(xing)的(de)(de)突(tu)破。未(wei)來(lai)已來(lai)，瞄(miao)準世界科技前沿，數字(zi)化時代下新(xin)的(de)(de)數據架(jia)構發(fa)展道路已經明朗。

還等什么，趕快吧。