小T導讀：在金融市場飛速發展的當下，行情數據的處理與分析已成為金融機構高效決策的關鍵支撐。華銳技術推出了華銳新一代歷史行情中心——D5 平臺，全面支持信創環境下的時序型歷史行情數據庫，具備海量數據存儲能力，顯著提升數據提取效率。相比傳統方案，歷史行情數據查詢性能實現數倍提升。本(ben)文將深入解析 TDengine 在 D5 平(ping)臺中(zhong)的應用實踐(jian)，展示(shi)其在數據(ju)建模、性能優化、成本(ben)控制、運(yun)維簡化等(deng)方(fang)面帶來的核心(xin)優勢。

作為分布式低時延技術的引領者，華銳技術致力于為金融機構提供高性能行情解決方案。在傳統的行情處理中，傳統數據庫面臨著數據量大、處理效率低、存儲成本高等諸多挑(tiao)戰(zhan)。面對日(ri)益增長的市(shi)場數(shu)據，金融機構亟需一種(zhong)具備高并發處(chu)理、高可擴展性和低運維(wei)成(cheng)本的新一代行情數(shu)據庫，以應對更嚴苛(ke)的數(shu)據挑(tiao)戰(zhan)。

TDengine 的落地實踐

在 D5 平臺中，時序數據庫 TDengine 作為歷史行(xing)(xing)情(qing)數據庫(ku) HDB 的(de)核心(xin)組件，與行(xing)(xing)情(qing)持久化適配器 DPS、歷史行(xing)(xing)情(qing)服(fu)務 HQS 等(deng)(deng)模塊深度協同(tong)。憑借 TDengine 的(de)產(chan)品優勢，D5 平(ping)臺顯著提升了客戶(hu)在(zai)歷史行(xing)(xing)情(qing)數據獲(huo)取(qu)方面的(de)體驗，有力支撐(cheng)了歷史查詢、行(xing)(xing)情(qing)回放、證券信息檢索等(deng)(deng)關鍵服(fu)務。

平臺架構如下圖所示：

歷史行情建模

D5 平臺的歷(li)史行(xing)情數據覆蓋了滬深(shen)交(jiao)易(yi)(yi)所(suo)(suo)、中金(jin)所(suo)(suo)、大商所(suo)(suo)、鄭商所(suo)(suo)、上(shang)期所(suo)(suo)、上(shang)海(hai)能源所(suo)(suo)、北交(jiao)所(suo)(suo)、港交(jiao)所(suo)(suo)、外(wai)匯(hui)交(jiao)易(yi)(yi)中心本幣市場等主要(yao)交(jiao)易(yi)(yi)場所(suo)(suo)，涵蓋現貨、固收債券(quan)、基金(jin)、衍生(sheng)品(pin)等多種品(pin)類(lei)，實現對(dui)國內主要(yao)交(jiao)易(yi)(yi)市場和(he)品(pin)種的全(quan)行(xing)情支持。這類(lei)數據組(zu)織結構復(fu)雜，若(ruo)采用傳統(tong)關系型建模方式，管理難度高、維護成本大。

基于 TDengine“一個設(she)備一張表”的建(jian)模(mo)理念(nian)，D5 平臺在(zai)構建(jian)歷史(shi)行(xing)情(qing)數據(ju)模(mo)型時(shi)，按證(zheng)(zheng)券市場和證(zheng)(zheng)券代碼進行(xing)分類，將每支(zhi)證(zheng)(zheng)券簡化為一張子表，實現對全(quan)市場各類證(zheng)(zheng)券的統(tong)一管(guan)理和高效存儲，大幅降低了數據(ju)建(jian)模(mo)和運維復雜度(du)，同時(shi)顯著提升查詢性能。

如圖所示，平臺將證(zheng)券(quan)市場(chang)和(he)證(zheng)券(quan)代碼抽象(xiang)為 TAG，在(zai)一張(zhang)超級表下統一管理所有市場(chang)的 K 線(xian)數據(ju)。每(mei)支證(zheng)券(quan)作為子表，記錄其(qi)在(zai)每(mei)個時點的開盤(pan)價、最(zui)高(gao)價、收盤(pan)價、成交量、成交額等關鍵指標(biao)。

借(jie)助 TDengine 的時序數據特性，平臺(tai)可通過 TAG 標簽組織管理不同(tong)市場(chang)和(he)品種的數據，同(tong)時通過數據分區分片機制，實現按市場(chang)、品種、證券(quan)維度的高(gao)效檢索。

從這一機制出發，平臺(tai)按不同 K 線(xian)周期（1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年）分別建立超級表，覆(fu)蓋各類時間粒度的查詢需求，從而實現(xian)全市場的 K 線(xian)極速查詢。

納秒級大規模數據存儲與檢索

以 Level-2 行(xing)情數據(ju)(ju)為例，D5 平臺(tai)借助(zhu) TDengine 強大的存(cun)儲與計算能力，構(gou)建(jian)了納(na)秒級(ji)快照超(chao)(chao)級(ji)表(biao)，用于存(cun)儲全(quan)市場行(xing)情數據(ju)(ju)，單表(biao)數據(ju)(ju)量超(chao)(chao)百(bai)億條。

在傳統關系型數據庫中，查詢一天滬深全品種的歷史快照數據往往需要長達 50 分鐘；而基于 TDengine 解決方案，最快僅需 17 秒即可完成同等查詢，效率提升超過百倍。

憑借極高的(de)壓(ya)縮比和卓越的(de)查詢性能，TDengine 顯著提(ti)升了(le)歷史行情服務的(de)存儲和訪(fang)問效(xiao)率，為投研人員提(ti)供(gong)了(le)更(geng)快速(su)(su)、更(geng)便捷的(de)數據(ju)支持，加速(su)(su)策(ce)略開(kai)發與(yu)決策(ce)過程。

超大數據量導入

在(zai)項目(mu)(mu)落地過(guo)程中，華(hua)銳技(ji)術團隊也(ye)曾面臨挑(tiao)戰。例如，項目(mu)(mu)初期(qi)在(zai)進行歷史數據(ju)遷(qian)移時，由于數據(ju)量大且格式復雜，使用(yong) taosdump 命令導(dao)(dao)入(ru) CSV 格式的(de)歷史數據(ju)時出現了(le)部(bu)分數據(ju)導(dao)(dao)入(ru)速度(du)較慢的(de)問題。通過(guo)與 TDengine 開發(fa)團隊緊密協(xie)作，我們對數據(ju)格式進行了(le)優化調整，并完善了(le)數據(ju)質檢與回補機制(zhi)，在(zai)保證(zheng)導(dao)(dao)入(ru)性能(neng)的(de)基礎上，也(ye)確(que)保了(le)數據(ju)的(de)完整性和準(zhun)確(que)性。

成本優勢

在資源成本方面，得(de)益于(yu) TDengine 的(de)架構優勢、高壓(ya)縮比和高效(xiao)的(de)資源利(li)用能力，我們存(cun)儲 10 年(nian)規(gui)模(mo)的(de)歷史(shi)數據，服(fu)務器(qi)數量大幅減少，硬件采購與運(yun)維(wei)成本也(ye)大幅降(jiang)低(di)。同(tong)時，TDengine 的(de)簡單(dan)易(yi)用性(xing)也(ye)降(jiang)低(di)了(le)開發(fa)和運(yun)維(wei)的(de)難度(du)，進一步(bu)提升了(le)團隊的(de)工作效(xiao)率。

下一步規劃

華(hua)銳技(ji)術(shu)(shu)計劃進(jin)一(yi)步拓展 TDengine 在更多(duo)業務場景中的應用(yong)，尤(you)其是在構建全棧(zhan)信(xin)(xin)創(chuang)體系(xi)、全面(mian)支持國(guo)產化方(fang)面(mian)發力。近年來，隨(sui)著國(guo)家對(dui)網絡(luo)與信(xin)(xin)息(xi)安全的高度重視，信(xin)(xin)創(chuang)產業已(yi)上升為國(guo)家戰略重點(dian)，信(xin)(xin)息(xi)化發展環境也在持續演進(jin)。利用(yong) TDengine 的高性能優勢與國(guo)產化能力，華(hua)銳技(ji)術(shu)(shu)將為客(ke)戶(hu)提供更加完(wan)備的信(xin)(xin)創(chuang)解決(jue)方(fang)案。同時，公司也在積極探(tan)索 TDengine 在金(jin)融其他領域的應用(yong)潛力，推進(jin)復雜(za)衍生指標計算(suan)、多(duo)維度數據挖掘等行(xing)情(qing)分析功能的開發，持續豐富產品能力，助力客(ke)戶(hu)實現(xian)更全面(mian)的數據價值挖掘。

關于華銳技術

華銳(rui)技(ji)術(shu)創立于 2016 年，擁有世界領先的分布式低(di)時延技(ji)術(shu)，是中(zhong)國領先的分布式基(ji)礎(chu)技(ji)術(shu)公司(si)和(he)資本(ben)市場核心業務平臺(tai)提供商。公司(si)總部(bu)位于深圳，在(zai)北京、上(shang)海、長沙設有子公司(si)，業務網絡(luo)覆(fu)蓋全國。

華銳 AMD 行情產品部是華銳眾(zhong)多產線(xian)之一，致力于打造(zao)公(gong)司(si)(si)級新(xin)一代(dai)高(gao)(gao)速行(xing)情(qing)(qing)(qing)服務平臺，提供行(xing)情(qing)(qing)(qing)極(ji)速分發、多數(shu)據中心行(xing)情(qing)(qing)(qing)傳輸、實時行(xing)情(qing)(qing)(qing)加工(gong)、歷史行(xing)情(qing)(qing)(qing)服務等綜合解決方案。平臺具備高(gao)(gao)性價比，能(neng)夠滿足公(gong)司(si)(si)各類系統(tong)對(dui)行(xing)情(qing)(qing)(qing)數(shu)據的(de)不同需求(qiu)，現(xian)已在(zai)多家頭部券商、銀行(xing)理(li)財(cai)子公(gong)司(si)(si)及(ji)私募(mu)基金穩定運行(xing)多年，持續為各類行(xing)情(qing)(qing)(qing)消費系統(tong)提供超(chao)高(gao)(gao)可用(yong)、超(chao)低時延的(de)優質行(xing)情(qing)(qing)(qing)服務。