TDengine 助(zhu)力廣(guang)州(zhou)疆海科技有限公司(si)高效(xiao)(xiao)完成儲(chu)能(neng)(neng)業(ye)務(wu)的(de)數據(ju)分析任務(wu)，輕松(song)應對(dui)海量功(gong)率(lv)、電(dian)能(neng)(neng)及輸入(ru)輸出數據(ju)的(de)實時(shi)統計(ji)與分析，并以(yi)接近 1 : 20 的(de)數據(ju)文件壓縮率(lv)大幅降低存儲(chu)成本。此(ci)外，taosX 強大的(de) transform 功(gong)能(neng)(neng)幫助(zhu)用戶完成原(yuan)始數據(ju)的(de)清洗和結構(gou)優化，而其零代碼遷移(yi)能(neng)(neng)力更實現了歷史數據(ju)從 TDengine OSS 與 MySQL 到 TDengine 企業(ye)版(ban)的(de)平滑(hua)遷移(yi)，全面提升了企業(ye)的(de)數據(ju)管(guan)理效(xiao)(xiao)率(lv)。本文將詳(xiang)細解讀這一(yi)實踐案例。

隨(sui)著(zhu)光伏、電池等(deng)技(ji)術的不斷進步，家(jia)庭儲(chu)能、戶外(wai)儲(chu)能市場蓬(peng)勃發展，廣州疆海(hai)科技(ji)有限公司旗下(xia)的 “Zendure（征拓）” 致(zhi)力于家(jia)庭儲(chu)能和能源管理系(xi)統的研(yan)發與銷(xiao)售，用戶遍布全(quan)球(qiu)。

對(dui)儲能(neng)(neng)設備(bei)(bei)進行能(neng)(neng)量分(fen)析(xi)(xi)是 Zendure 的(de)關鍵業務之一。這一動作能(neng)(neng)夠幫助用戶(hu)實時(shi)掌(zhang)握儲能(neng)(neng)設備(bei)(bei)的(de)運行狀態，通過(guo)對(dui)功率、電能(neng)(neng)以及輸(shu)入輸(shu)出數(shu)據(ju)此類典(dian)型(xing)的(de)時(shi)序數(shu)據(ju)進行精(jing)準(zhun)統計與分(fen)析(xi)(xi)，用戶(hu)可清(qing)晰了解設備(bei)(bei)的(de)能(neng)(neng)效(xiao)表現與能(neng)(neng)源使用情況，輕松(song)實現精(jing)細(xi)化管理和優化決策(ce)。

最初，我們采用關系型數據庫管理儲能設備的時序數據，但隨著數據規模的迅猛增長，很快遇到了性能瓶頸，不得不尋找更高效的解決方案。在數據庫選型過程中，我們了解到時序數據庫 TDengine，其獨特的“一(yi)設(she)備(bei)(bei)一(yi)張表(biao)(biao)”數(shu)據模(mo)型、“超級(ji)表(biao)(biao)-子表(biao)(biao)”架構，以及卓越的性能表(biao)(biao)現，與我們(men)的儲能設(she)備(bei)(bei)數(shu)據管理(li)需求高度契合。

我們(men)最初使用 TDengine OSS 開(kai)(kai)源版本進行業(ye)務數據存儲，隨著業(ye)務規(gui)模擴大和功能(neng)需求增加，2024 年正式升級至 TDengine 企(qi)業(ye)版。借助 taosX 強大的(de)數據接(jie)入(ru)與遷(qian)移(yi)能(neng)力，在濤思技(ji)術團(tuan)隊的(de)支持(chi)下，我們(men)不僅(jin)高(gao)效遷(qian)移(yi)了(le)開(kai)(kai)源版的(de)歷史(shi)數據，還(huan)完成了(le) MySQL 存儲數據的(de) transform 結構優化，并順利導入(ru) TDengine 企(qi)業(ye)版集群(qun)，實現(xian)了(le)歷史(shi)數據遷(qian)移(yi)、業(ye)務切換及表結構優化，確保(bao)系統平穩過渡，為儲能(neng)業(ye)務的(de)進一(yi)步(bu)發展奠(dian)定了(le)堅(jian)實基礎。

能量分析業務

問題描述

能量分析(xi)業務(wu)既需要從業務(wu)維(wei)(wei)度(du)將數據分為功率(lv)、電能、輸(shu)入輸(shu)出這 3 類(lei)(lei)，分類(lei)(lei)別進行(xing)統計(ji)查詢，又(you)需要從設備(bei)維(wei)(wei)度(du)，按每(mei)個設備(bei)的 device 信息進行(xing)統計(ji)查詢。過去使用關系型數據庫(ku)，無論是按照業務(wu)建表還是按照設備(bei)建表均無法(fa)很好(hao)地滿足(zu)業務(wu)需求。

TDengine 解決方案

• 超級表設計

結合業務(wu)需(xu)求以(yi)及 TDengine “一個設備一張表”  數(shu)據(ju)模型，“超級表-子表” 組織(zhi)結構，我們(men)對設備儲能數(shu)據(ju)的組織(zhi)方式如下(xia)：

創建了 3 張(zhang)超級表(biao)，分別(bie)對(dui)(dui)應設備的(de)功(gong)率數(shu)據、電能(neng)數(shu)據以及輸入輸出(chu)數(shu)據。而每個設備的(de)數(shu)據分別(bie)記錄在超級表(biao)下的(de)對(dui)(dui)應子表(biao)中，同(tong)時兼顧了業(ye)務維度(du)與設備維度(du)對(dui)(dui)數(shu)據組(zu)織的(de)需求，如下圖所示。

經過測試驗證(zheng)以及實際業務檢驗，TDengine 能夠很好地支(zhi)持儲(chu)能設備(bei)能量分析業務，查詢(xun)速度和(he)數據壓縮(suo)率表現都很優異。

• 高速查詢

查詢案例 1 ：統計 2024 年 9 月以來(lai)，每(mei)個設(she)備每(mei)天的 energy 總和，查詢(xun)語(yu)句(ju)和耗(hao)時記(ji)錄如下，我(wo)們(men)可(ke)以看到返回 100 余萬筆統計結果，僅耗(hao)時 1 秒多。

查詢案例 2：查詢設備 id 為(wei) 100048，在 2024-11-09 當(dang)天，全天的電力輸入輸出數(shu)據，返回 258 條數(shu)據耗時 0.513 秒。

• 高效壓縮

使用 TDengine 的另一個優勢，在于數(shu)據(ju)壓(ya)(ya)縮(suo)(suo)(suo)率高。我們的數(shu)據(ju)服務部署在亞馬遜(xun)云上，高壓(ya)(ya)縮(suo)(suo)(suo)率給我們節省了(le)很多成本。對于功率、電能、輸(shu)(shu)入輸(shu)(shu)這(zhe) 3 張超(chao)級(ji)表，數(shu)據(ju)壓(ya)(ya)縮(suo)(suo)(suo)率分(fen)別達到(dao)了(le) 5.34 %、5.95 %、8.63 % 。（數(shu)據(ju)壓(ya)(ya)縮(suo)(suo)(suo)率指 data 文(wen)件中(zhong) 實際(ji)占(zhan)用的空(kong)間 / 無壓(ya)(ya)縮(suo)(suo)(suo)狀態下數(shu)據(ju)占(zhan)用的空(kong)間 * 100%）。

• 應用界面展示

目前該項(xiang)目運(yun)行中(zhong)的儲能設備數(shu)量已經(jing)超過 3 萬臺/套，系統運(yun)行穩定高效。部分數(shu)據查詢頁面(mian)如(ru)下圖所示：

TDengine – TDengine 歷史數據遷移

問題描述

采購企(qi)業版后，在濤思技術團隊的協助下，我(wo)們在亞馬遜云上成功部(bu)署了 3 節點(dian)集(ji)群(qun)。隨之而來(lai)的挑戰是(shi)如何在不中(zhong)斷原有業務(wu)的情(qing)況下，將開(kai)源(yuan)版集(ji)群(qun)中(zhong)一年的歷史數據平穩遷(qian)移至新(xin)集(ji)群(qun)，并(bing)在大部(bu)分(fen)數據同(tong)步完(wan)成后再執行業務(wu)切換(huan)。歷史數據的大規模遷(qian)移一向是(shi)數據運維的難題，但幸運的是(shi)，TDengine 企(qi)業版內置了 taosX 組(zu)件(jian)，提供零代碼數據接入能力，使(shi)得遷(qian)移過程更加高(gao)效便(bian)捷。

TDengine 解決方案

為(wei)盡快同(tong)步歷(li)史數(shu)據，同(tong)時(shi)保留對(dui)基(ji)礎性(xing)能(neng)參(can)數(shu)的(de)調整靈活性(xing)，濤思技術(shu)團(tuan)隊(dui)采用 taosX 命令行模式(shi)，通(tong)過原生連接(jie)方式(shi)進行數(shu)據遷(qian)移操(cao)作。

taosx run -f "taos://root:XXXX@node1:6030/zendure_db?schema=none&unit=2d&start=2024-08-01T00:00:00Z&end=2024-09-01T00:00:00Z&libraryPath=/data/taos/soft/libtaos.so.3.0.7.1" -t 'taos://root:XXXX@tdengine-enterprise-eu-1:6030/zendure_db?fails-to=/data/error_db_sync_M08.log' -j 10

上述命(ming)令(ling)行（密碼(ma)用 XXXX 替換(huan)），能夠從(cong)源端(duan)（-t），TDengine 版本號為 3.0.7.1，hostsname 為 tdengine-enterprise-eu-1 的節點(dian)，以原生(sheng)連接（6030）的方式將 dbname 為 zendure_db ，時間段為 2024-08-01 到 2024-09-01 的歷(li)史數(shu)據(ju)遷(qian)移到目(mu)標端(duan)（-f）。通過控制 -j 參數(shu)限制并(bing)發(fa)線程數(shu)，避(bi)免數(shu)據(ju)遷(qian)移操(cao)作對(dui)源端(duan)產生(sheng)過大的影響。

在(zai)(zai)業務低谷期，按時間段倒序遷(qian)移，每(mei)天遷(qian)移 3-4 個月(yue)的歷史數據，最終我(wo)們成(cheng)功在(zai)(zai)國慶(qing)假期之前完成(cheng)了歷史數據的遷(qian)移。

超級表 schema 變更

問題描述

在最初使用(yong) TDengine OSS 管理(li)數據時，由于對其特性尚不(bu)熟悉(xi)，業務模(mo)式未完(wan)全(quan)梳(shu)理(li)清晰，導致部(bu)分超級(ji)表的設(she)(she)計不(bu)夠合理(li)。例如，一些原本適合作(zuo)為(wei) tag 列(lie)的字段被誤設(she)(she)為(wei)數據列(lie)，造(zao)成(cheng)了不(bu)必(bi)要(yao)的磁盤空間浪費；部(bu)分超級(ji)表則需要(yao)新增 tag 列(lie)，以優化數據管理(li)和查詢效(xiao)率。

由于這些表結構變更較為復雜，無法直接通過簡單的增刪數據列或 tag 列完成調整。為此，濤思技術團隊協助設計了一套基于 CSV 文件的數據中轉方案，并結合 taosX 與 taosExplorer 高效完成數據遷移，確保數據結構優化的同時，平穩過渡至新的存儲架構。TDengine 解決方案

• 實施思路

1. 以 csv 文件作為數據中轉形態
2. 通過 taos shell 執行 SQL 語句，將原超級表數據批量導出到 csv 文件中
3. 利用 TDengine 自帶工具 taosX、taosExplore所具備的批量 csv 文件解析寫入功能，將導出到 csv 文件中的原始數據按照新的表結構寫入到新超級表中。

• 操作步驟

1. 創建新數據庫與新表
2. 將原表數據分批次導出到 csv 文件中
3. 創建 csv 寫入任務
4. 字段映射
5. 執行數據寫入并監測任務運行情況
6. 數據正確性檢驗
7. 業務遷移
8. 遺留數據遷移
9. tag 賦值

• 關鍵步驟介紹

數(shu)據(ju)導(dao)出到 csv 文(wen)(wen)件與數(shu)據(ju)重新映射并寫入 TDengine 是兩個關鍵步(bu)驟(zou)。首(shou)先，通(tong)過 taos shell 執行(xing) SQL 語(yu)句，即可(ke)按(an)指定(ding)(ding)時(shi)間范圍導(dao)出歷史數(shu)據(ju)至 CSV 文(wen)(wen)件。例如，使用以(yi)下(xia) SQL 語(yu)句即可(ke)導(dao)出特(te)定(ding)(ding)時(shi)間段的(de)數(shu)據(ju)：

select tbname, * from test.meters where ts >='2017-07-14 10:00:00' and ts <'2017-07-14 11:00:00'>> /root/test/1.csv; 
select tbname, * from test.meters where ts >='2017-07-14 11:00:00' and ts <'2017-07-14 11:30:00'>> /root/test/2.csv; 
select tbname, * from test.meters where ts >='2017-07-14 11:30:00' and ts <'2017-07-14 12:00:00'>> /root/test/3.csv; 

在 taosExplorer 中(zhong)配置數據源(yuan)，以(yi)及(ji)數據在新建超(chao)級表中(zhong)的(de)映射關系，即(ji)可實現(xian)變更表結構的(de)需求。我們可按照(zhao)如(ru)下步驟配置數據源(yuan)：

解析(xi)成功后(hou)，在“映射(she)”選項(xiang)卡(ka)中，配(pei)置新(xin)舊(jiu)超級(ji)表之間(jian)的映射(she)關系，在這(zhe)一步將(jiang)原(yuan)始(shi)數據(ju)映射(she)到新(xin)的表結構(gou)中。

在(zai)濤思技術團隊的(de)協助下，最終(zhong)我們成功實現了表(biao)結構(gou)的(de)變更與數據的(de)遷移。

從 MySQL 遷移數據到 TDengine

問題描述

過(guo)去，一些(xie)歷(li)史(shi)數(shu)據(ju)(ju)(ju)存(cun)儲在(zai) MySQL 中，隨著企(qi)業版(ban) TDengine 的(de)(de)部署，我(wo)(wo)們希望將(jiang)這些(xie)數(shu)據(ju)(ju)(ju)遷移(yi)至 TDengine 集群進行(xing)(xing)(xing)統(tong)一管理。然(ran)而，由于 MySQL 與(yu) TDengine 的(de)(de)建(jian)表方式存(cun)在(zai)較大差異，我(wo)(wo)們需(xu)要對字段(duan)進行(xing)(xing)(xing)映射，并篩選(xuan)出(chu)符合需(xu)求的(de)(de)部分數(shu)據(ju)(ju)(ju)進行(xing)(xing)(xing)導入(ru)。在(zai)濤思技(ji)術團隊的(de)(de)支持下，我(wo)(wo)們借助(zhu) taosX 高效(xiao)完成(cheng)了(le)數(shu)據(ju)(ju)(ju)篩選(xuan)、結構映射及遷移(yi)，實現(xian)了(le) MySQL 歷(li)史(shi)數(shu)據(ju)(ju)(ju)的(de)(de)順利接入(ru)。

TDengine 解決方案

taosX 可(ke)通過配置 SQL 語句從 MySQL 數據(ju)源查詢(xun)所(suo)需(xu)數據(ju)，并(bing)將其(qi)映射至 TDengine 已創建的超級表或子表，實現數據(ju)的高(gao)效(xiao)接入與遷(qian)移。SQL 配置界面如下圖所(suo)示：

在遷移過程中，我們遇到了 taosX 無法識別 MySQL 時間戳字段的問題。通過使用 UNIX_TIMESTAMP 函數將 MySQL 的時(shi)間戳轉換為 UNIX 時(shi)間戳，成功解決了該問(wen)題。

此外，MySQL 可存儲所有時間戳相同的數據，而 TDengine 僅保留相同時間戳的最后一條記錄。為滿足業務需求，我們將 type 數據列的(de)信息疊加到毫秒級時間戳中，在不使用復合主鍵的(de)情況下(xia)，實現了類似的(de)效果。

最(zui)終(zhong)采用(yong)的(de) SQL 語句(ju)如下：

SELECT t.consumer_id,device_id,UNIX_TIMESTAMP(t.create_time)*1000+type as ts,power,type
        FROM
        t_device_inout_power_record t,t_device d,t_product pt 
        where 
        t.device_id=d.id and 
        d.product_id=pt.id and 
        pt.product_type_id in (3,4) and
         create_zone_time>'2023-1-1';

對從 MySQL 查詢出來的數(shu)據進行映射處理：

任務執行完(wan)成后(hou)的(de)指(zhi)標如下(xia)，可(ke)以看到總(zong)計導入了四(si)千(qian)多萬行數(shu)據，完(wan)成了數(shu)據從 MySQL 向(xiang) TDengine 的(de)遷(qian)移(yi)。

結語

時序數據(ju)的(de)迅猛增(zeng)長曾給我們(men)帶(dai)來查詢(xun)效率和存儲成本(ben)的(de)挑戰，而 TDengine 的(de)引(yin)入成功解(jie)決(jue)了(le)這些問題。尤其值得一提的(de)是 taosX 組件(jian)，其零代碼(ma)數據(ju)遷(qian)移能力大幅降低(di)了(le)開(kai)發時間(jian)和成本(ben)，讓數據(ju)管理(li)更加高(gao)效便捷。

家庭儲(chu)能與戶外儲(chu)能市場仍在快速發展，對時序數(shu)據的(de)高效(xiao)管理需(xu)求(qiu)也將持(chi)續增長。未來，我們(men)期待(dai)與 TDengine 攜(xie)手，共同助(zhu)力(li)中國企業揚帆出海，為全球能源管理貢獻更(geng)多(duo)力(li)量。

本文作者(zhe)：疆(jiang)海(hai)科技 馬老師(shi)

關于疆海科技

廣(guang)州疆海科技(ji)有限公(gong)司創立于 2017 年，是(shi)一(yi)家(jia)設計與技(ji)術(shu)驅動的(de)(de)國(guo)(guo)(guo)家(jia)高新技(ji)術(shu)企業(ye)，致(zhi)力于家(jia)庭儲(chu)能(neng)和能(neng)源管理系(xi)統的(de)(de)研發與銷售(shou)。公(gong)司目(mu)前累(lei)計申請專利(li) 70 多項(xiang)，已有專利(li) 60 多項(xiang)；產品多次獲得(de)德(de)(de)國(guo)(guo)(guo)紅點、德(de)(de)國(guo)(guo)(guo) iF 和日本(ben) G-Mark 設計大獎。公(gong)司旗下的(de)(de)“Zendure（征拓）”品牌(pai)在歐(ou)(ou)美(mei)有較高知名(ming)度，在全(quan)球(qiu)各地有大量忠實用戶。目(mu)前公(gong)司的(de)(de)分銷渠道覆(fu)蓋歐(ou)(ou)美(mei)中東日本(ben)等全(quan)球(qiu) 63 個(ge)國(guo)(guo)(guo)家(jia)，上(shang)千家(jia)線下門店，并(bing)且通過(guo)亞(ya)馬遜等電商(shang)平臺直接面向消費者銷售(shou)，是(shi)中國(guo)(guo)(guo)出海品牌(pai)中少有的(de)(de)擁有完善的(de)(de)線上(shang)線下渠道的(de)(de)品牌(pai)之(zhi)一(yi)。