2022 年 8 月我們在 TDengine 開發者大會上正式發布了 TDengine 3.0，TDengine 也由此升級成為了一款云原生時序數據庫（Time Series Database，TSDB）。為了客觀、準確、有效地評估 TDengine 3.0 的性能指標，我們決定使用?TSBS（Time Series Benchmark Suite）作(zuo)為(wei)基準性(xing)能測試(shi)平臺，針對 DevOps 場景的數據(ju)集對 TDengine 3.0 展開整體（包括寫入、查(cha)詢(xun)、存儲、資源消耗等）性(xing)能評估。

TSBS 是一(yi)個時序數據(ju)(ju)處理(li)（數據(ju)(ju)庫）系(xi)統的性(xing)(xing)能基(ji)準測試(shi)平臺(tai)，提供(gong)了 IoT、DevOps 兩(liang)個典型(xing)應用(yong)(yong)場(chang)景，它由 Timescale 開源(yuan)并(bing)負(fu)責維護。作(zuo)為(wei)一(yi)個性(xing)(xing)能基(ji)準測試(shi)平臺(tai)，TSBS 具有便捷(jie)、易用(yong)(yong)、擴展靈活等特點，涵蓋了時序數據(ju)(ju)的生成、寫入（加載）、多種類(lei)別的典型(xing)查(cha)詢等功(gong)能，并(bing)能夠自動(dong)匯總最終結果。由于其(qi)開放(fang)開源(yuan)的特點，得到了眾多數據(ju)(ju)庫廠商(shang)的支持，作(zuo)為(wei)專業(ye)的產品性(xing)(xing)能基(ji)準測試(shi)平臺(tai)被若干數據(ju)(ju)庫廠商(shang)廣泛使用(yong)(yong)。

以(yi)下的性能(neng)基(ji)準報告均(jun)使用(yong)了 TSBS 作為基(ji)礎 Benchmark 平臺(tai)，我們從時間跨度和發布廠商的知名度同時來看，就能(neng)發現，基(ji)礎測試平臺(tai) TSBS 已經具備了很高的認可度：

2018 年 11 月
VictoriaMetrics 的創始人 Aliaksandr Valialkin 發布 《High-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB》，將 VictoriaMetrics 與 TimescaleDB、InfluxDB 進行性能對比。

2018 年 11 月
文章《ClickHouse Crushing Time Series》中對比了 TimescaleDB, InfluxDB, ClickHouse 在時序數據場景下的性能。

2020 年 3 月
Cloudera 在網站博客中發布《Benchmarking Time Series workloads on Apache Kudu using TSBS》，在 DevOps場景 中對比了 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 等整體性能表現。

2020 年 3 月
Redis 發布了基于 TSBS 的性能報告《RedisTimeSeries Version 1.2 Benchmarks》。

2020 年 8 月
Timescale 在其官方博客發布了性能對比報告《TimescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data》。

2021 年 8 月
QuestDB 發布了(le) QuestDB 與 TimescaleDB 的性能對比(bi)報告——《QuestDB vs. TimescaleDB》。

DevOps 場景(jing)是一個(ge)典型的時序數(shu)據應用場景(jing)，TSBS DevOps 場景(jing)提供了 CPU 狀(zhuang)態(tai)的模擬(ni)數(shu)據，針(zhen)對每(mei)個(ge)設(she)備（CPU）記(ji)錄其 10 個(ge)測(ce)量(liang)值(zhi)（metric），1 個(ge)時間(jian)(jian)戳(chuo)（納秒(miao)分辨(bian)率），10 個(ge)標簽值(zhi)（tag）。生成的數(shu)據每(mei) 10 秒(miao)間(jian)(jian)隔一條記(ji)錄，具體的內(nei)容和示(shi)例數(shu)據如(ru)下：

TSBS 測試可(ke)以簡單劃(hua)分為(wei)兩個(ge)主(zhu)要(yao)部分——數(shu)據(ju)(ju)寫入和數(shu)據(ju)(ju)查詢。在本次(ci)整個(ge)基準(zhun)性能評估中(zhong)，共涉及以下(xia)五個(ge)場景(jing)，每(mei)個(ge)場景(jing)的具體數(shu)據(ju)(ju)規模和特(te)點(dian)見(jian)下(xia)表：

通過上表可以(yi)看到，五個(ge)場(chang)景(jing)的區別主要(yao)在于數(shu)(shu)(shu)(shu)(shu)據集所(suo)包(bao)含的設備記錄數(shu)(shu)(shu)(shu)(shu)量(liang)、設備數(shu)(shu)(shu)(shu)(shu)的不同，數(shu)(shu)(shu)(shu)(shu)據時間(jian)間(jian)隔均維持在 10 sec。整體(ti)來(lai)看，五個(ge)場(chang)景(jing)的數(shu)(shu)(shu)(shu)(shu)據規模都不算大，數(shu)(shu)(shu)(shu)(shu)據規模最大的是場(chang)景(jing)五，數(shu)(shu)(shu)(shu)(shu)據達到了 1.8 億，數(shu)(shu)(shu)(shu)(shu)據規模最小(xiao)的是場(chang)景(jing)一，只有 2678 萬條記錄。在場(chang)景(jing)四(si)和場(chang)景(jing)五中，由(you)于設備數(shu)(shu)(shu)(shu)(shu)量(liang)相(xiang)對較多，所(suo)以(yi)數(shu)(shu)(shu)(shu)(shu)據集僅(jin)覆蓋(gai)了 3 分鐘的時間(jian)跨度(du)。

為了(le)保(bao)證測試結(jie)果的(de)公正可(ke)(ke)靠及可(ke)(ke)復制性(xing)，我們(men)選用(yong)了(le)公共 IaaS 平(ping)臺來搭(da)建(jian) Benchmark 基(ji)(ji)礎硬件環境，采用(yong)了(le)大多數性(xing)能(neng)對比(bi)報告中(zhong)使(shi)(shi)用(yong)的(de)場景——亞馬遜 EC2 服(fu)務(wu)環境下 r4.8xlarge 類(lei)型的(de)實例作為基(ji)(ji)礎運行(xing)平(ping)臺，區(qu)域為北美地區(qu)，包(bao)括 1 臺服(fu)務(wu)器、1 臺客(ke)戶端。客(ke)戶端與服(fu)務(wu)器硬件配置(zhi)完全相同，兩者使(shi)(shi)用(yong) 10 Gbps 網絡連接。配置(zhi)簡表如(ru)下：

本(ben)次(ci)測試的(de)(de)對比軟件(jian)為 InfluxDB 1.8.10 及 Timescale 2.6.0，在這(zhe)里要著(zhu)重說明一下(xia)，由于 InfluxDB 最(zui)新的(de)(de) 2.0 版(ban)本(ben)并(bing)沒有納入 TSBS 的(de)(de)主干分(fen)支，因(yin)此在這(zhe)次(ci)測試中我們暫(zan)且使用(yong)了 TSBS 主干分(fen)支所支持的(de)(de) InfluxDB 最(zui)新版(ban)本(ben)，即 1.8.10。

整(zheng)個(ge) TSBS 測試流程相(xiang)對比較(jiao)簡單，在(zai)進行寫(xie)入性能對比時(shi)，配置完成參數(shu)后直接運(yun)(yun)行 TSBS 框架腳(jiao)本，等待結果輸(shu)出即(ji)可。對于(yu)查(cha)詢(xun)處(chu)理(li)，我(wo)們選擇了批(pi)量自動化去運(yun)(yun)行，對每個(ge)查(cha)詢(xun)語句運(yun)(yun)行 5000 次，統計查(cha)詢(xun)延遲的(de)算(suan)數(shu)平均(jun)作為最后的(de)查(cha)詢(xun)延遲結果。此外我(wo)們還全程監控并記錄(lu)了整(zheng)個(ge)過程中服(fu)務(wu)器與(yu)客戶(hu)端節(jie)點的(de)系統資源(yuan)開銷與(yu)負(fu)載情況。

下面可以簡單為大家介紹下本次測試結果。如下表所示，在全部五個場景中，TDengine 寫入性能均優于 InfluxDB 和 TimescaleDB，寫入過程中資源占用最低。對比 InfluxDB，TDengine 寫入最優的場景是在 1000 萬設備下，達到了 InfluxDB 的?10.6 倍；對比 TimescaleDB ，TDengine 寫入最優的場景是在 4000 個設備下，達到了 TimeScaleDB 的?6.7 倍。

在查詢測試上，我們將其分為 5 大類、15 小類進行查詢對比，從下圖結果匯總中可以看到，在全部 15 個查詢類型中，TDengine 的性能均優于 InfluxDB 和 TimescaleDB，并且它的所有查詢延遲均比 InfluxDB 和 TimescaleDB 更低。亮點數據之一體現在 Double Rollups 查詢類型對比中，TDengine 最大達到 InfluxDB 的?34 倍，TimescaleDB 的?24 倍。

以上就是 TDengine 基于 TSBS 測試報告的測試背景介紹，如果你對測試結果感興趣，歡迎查閱整體報告。