TDengine 3.0 自去年 8 月份發(fa)布(bu)以來,已經(jing)被大(da)量用戶下載(zai)使用。在此過程中(zhong),濤(tao)思的(de)研發(fa)同學也沒(mei)有懈怠,針對大(da)家(jia)在社群、各種我們能觸(chu)達到的(de)平臺上提出(chu)的(de)種種有價值的(de)反饋,都一一進(jin)行了記錄,并(bing)開始(shi)尋求更高效的(de)實(shi)現方法(fa)。
終于,在 2023 年的第一季度, TDengine 第一個重要改進版本 3.0.3.0 發布,這一(yi)版本涉及(ji)到的更新內容(rong)包括數據重整、事件(jian)(jian)窗口、標(biao)簽索引、taosX、taosExplorer 等功能或組件(jian)(jian)。經過這一(yi)系列的功能優(you)化與(yu)加強,TDengine 的性能、易用(yong)性、運維便利性都(dou)有大幅提(ti)升。
下面我們(men)一(yi)起來看一(yi)下這(zhe)一(yi)版本的詳細更新信(xin)息:
數據重整 (Data Compact) ——Enterprise only
包含以下優化:
- 對寫入數據庫中所有 Vnode 的所有數據文件進行重整,生成新的落盤文件
- 清除已刪除的表的所有數據
- 清除 delete 語句刪除的所有數據
- 合并更新的所有數據
- 生成新的文件,提升查詢性能
借助此功能,用(yong)戶可以(yi)重(zhong)整數(shu)據(ju)(ju)庫,清除掉無用(yong)數(shu)據(ju)(ju)、重(zhong)復數(shu)據(ju)(ju)。除了能夠釋放存儲空間外,查詢性(xing)能也會有巨大的提(ti)(ti)升,且原有的亂(luan)序數(shu)據(ju)(ju)和(he)重(zhong)復數(shu)據(ju)(ju)的比例越高性(xing)能提(ti)(ti)升越顯著。
事件窗口 (Event Window)
包含以下優化:
- 按照用戶指定的條件來決定開啟和結束窗口的邊界
- 豐富窗口類型,提供更靈活的窗口支持,滿足由事件驅動的業務需求
更(geng)詳細信息(xi)請參考官方文(wen)檔()
標簽索引 (Tag Index)
包含以下優化:
- 可以按需在標簽列上創建和刪除索引,之前版本僅對第一個標簽內置了索引
- 可以按需創建標簽索引,提升基于標簽過濾的查詢的性能
taosX——Enterprise only
包含以下優化:
- 從 2.x 到 3.0 以及 3.0 到 3.0 的數據復制,包括存量和增量數據
- 備份數據到本地文件,從本地文件恢復數據
詳細說明:
- 支持 select-with-stable tables 參數(2.6 遷移到 2.6 下)
- 增強錯誤處理
- REST API support for Data In.
- Add name field for task props (數據源命名).
- Add labels field (更方便和定制化地對任務進行標記和查詢)
- Add detail query parameter (數據源 DSN 自動解析,用于查看和編譯數據源)
- Add trigger field for task schedule (定時自動增量備份).
- 修復 2.6 內存泄漏問題
- 修復 unreachable 和 panic 問題
taosExplorer——Enterprise only
使用該工具可基于 Web UI查看、操作、和管理 TDengine 集群。
詳細說明:
- Data Explorer——
- 使用圖形界面查看和瀏覽集群中的數據庫、超級表、子表、普通表
- 使用圖形界面創建和刪除庫、超級表、子表、普通表
- 輸入和執行 SQL 語句,查看執行結果
- 收藏常用的 SQL 語句以快速執行
- 瀏覽 SQL 語句的執行記錄
- 數據導入(Data In)——從另一 TDengine 集群導入數據
- 創建和刪除 Topic
- 創建和刪除流
- 管理用戶和權限
- 備份數據到本地文件和從本地文件中恢復
- 從另一集群復制數據到當前集群,從當前集群復制數據到另一集群
- 集群管理和運維——添加/刪除 dnode/mnode/gnode
- 基于Grafana進行集群監控
Java/Python 連接器
- 優化后的連接器支持基于 WebSocket 的消息訂閱
- 既支持 TDengine Cloud 也支持獨立部署的 TDengine 集群
- 類似 REST,可以不依賴 taosc library,但比 REST 性能更好
- 接口風格和 Kafka 基本一致
- API 和示例代碼詳見官網文檔
Grafana Plugin
- Dashboard 可以監控 HTTP status code
在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展示(shi) taosadapter 的所有 http 狀態碼,數據來(lai)源為 log 庫(ku)的 “taosadapter_restful_http_request_total”表。
- 多維數據場景下的統一告警
Grafana 8.x 之(zhi)后(hou)的版(ban)本添(tian)加(jia) unified alert, TDengine Grafana plugin v3.2.9 添(tian)加(jia)了對多(duo)維(wei)數據場景下 unified alert 支持。在 add query 面板設置(zhi) “INPUT SQL”、 “Group by column name(s)” 即可(ke)展示(shi)多(duo)維(wei)數據,然(ran)后(hou)添(tian)加(jia) expression 設置(zhi)數據的閾值,即可(ke)配置(zhi) unified alert。
詳細信息可以參考發布說明(//github.com/taosdata/TDengine/releases/tag/ver-3.0.3.0)。歡迎大家下載使用 TDengine,有任何問題,都可以添加小T vx:tdengine 申請加入 TDengine 用戶交(jiao)流(liu)群(qun),及時向我們的解決方(fang)案專家(jia)尋求(qiu)支持與幫(bang)助。


























