TDengine 可以基于采(cai)集的數(shu)據(ju)，無需(xu)人(ren)的干預，自動生成(cheng)業務洞察所需(xu)要的實(shi)時(shi)面(mian)板和報表。即使您沒有積(ji)累(lei)足(zu)夠的業務知識，不懂(dong)SQL, 不懂(dong)如(ru)何使用(yong)分析(xi)工(gong)具，TDengine 也能讓您了(le)解業務運行是(shi)否正常，效率是(shi)否有提升(sheng)的空間，安全是(shi)否存(cun)在隱患(huan)，幫您大幅(fu)降低數(shu)據(ju)價值挖掘(jue)的門檻。
與傳統數據分析以及 Chat BI 的對比
使用(yong)(yong)正常(chang)的(de)BI或可(ke)視化工(gong)具來分析數據，您需(xu)(xu)要(yao)理解數據的(de)來源、數據的(de)結(jie)構(gou)和(he)每個字段的(de)含義(yi)；需(xu)(xu)要(yao)知(zhi)道如(ru)何(he)對數據進行清洗與(yu)轉換(huan)；需(xu)(xu)要(yao)理解星型、雪(xue)花型模型，理解事實表(biao)與(yu)維度表(biao)；需(xu)(xu)要(yao)創(chuang)建并管理表(biao)與(yu)表(biao)之(zhi)間的(de)關系；理解并會定義(yi)業務的(de)各種(zhong)指標；掌握(wo)(wo)(wo)一些數據分析的(de)方法和(he)算法；熟練掌握(wo)(wo)(wo)各種(zhong)圖(tu)表(biao)類型及其適用(yong)(yong)場景，熟悉各種(zhong)圖(tu)標格式的(de)設(she)置；甚(shen)至要(yao)掌握(wo)(wo)(wo) SQL、Python/R 腳本(ben)語言等；還要(yao)掌握(wo)(wo)(wo)工(gong)具本(ben)身的(de)很多(duo)使用(yong)(yong)技巧，有相當的(de)技術(shu)和(he)業務門檻。
隨(sui)著 LLM 的(de)發展，市場上涌現了很(hen)多 Chat BI 工具，用戶只需要用自然(ran)語言描(miao)述要做的(de)分(fen)析，看(kan)板(ban)或(huo)報表(biao)就(jiu)能(neng)自動(dong)生成(cheng)，或(huo)使用 Co-Pilot 協(xie)助設(she)計看(kan)板(ban)和報表(biao)，效(xiao)率得到大幅(fu)提(ti)升(sheng)。但它依然(ran)依賴提(ti)問人(ren)對業務(wu)知識的(de)掌握程度，因為“提(ti)出問題(ti)就(jiu)解決了問題(ti)的(de)一半(ban)”。很(hen)遺憾的(de)是，即便是熟悉業務(wu)的(de)專(zhuan)業人(ren)士也(ye)因經(jing)驗、關注點等(deng)局(ju)限性，不能(neng)通過提(ti)問挖(wa)掘數據“全面價(jia)值”。因此數據價(jia)值挖(wa)掘還無法真正大眾化，依然(ran)有門檻。
TDengine 也具備 Chat BI 的能力，但在 Chat BI 的基礎(chu)上更進一步，它不需(xu)要您(nin)提問(wen)，它基于您(nin)采集的數據以及數據上下文(wen)，通過 LLM，自(zi)動感知應(ying)用(yong)場景，再由(you) LLM 推(tui)薦(jian)出該應(ying)用(yong)場景下所(suo)需(xu)要的實(shi)時(shi)分析、面(mian)板(ban)或報(bao)表。您(nin)可以選擇(ze) Like 或 Dislike，讓系統根據您(nin)的喜愛推(tui)薦(jian)更適合您(nin)的分析。最后，您(nin)如果點擊創建，TDengine 就(jiu)會自(zi)動創建出面(mian)板(ban)、報(bao)表或實(shi)時(shi)分析的配置文(wen)件，再將最后的報(bao)表、面(mian)板(ban)直(zhi)接呈現給您(nin)。相對于“智能問(wen)數”的 Chat BI 而言，TDengine 的這項(xiang)功(gong)能被稱之為“無問(wen)智推(tui)”。
AI Agent 的主要流程
自動(dong)生成面板、報表(biao)、分析的核(he)心組件(jian)是 TDengine 內置的能(neng)處理多任務的 AI Agent。這個 AI Agent 工(gong)作的主要流(liu)程如下：
- AI Agent 從數據平臺獲取每個設備或每個邏輯實體的表結構，包括表的名字、描述信息，列的名字、列的數據類型、描述信息、物理單位等輔助性的元數據，同時獲取每個實體的子系統的相應信息。
- AI Agent 基于從數據平臺獲取的元數據，構建提示詞，要求 LLM 基于描述的場景給出該場景下需要有的實時面板、報表和分析，并按照指定的 JSON 格式提供。
- LLM 在深度思考后，給出回應，AI Agent 做必要的合法性檢查，過濾掉錯誤的內容輸出。
- AI Agent 基于 LLM 的回復，自動構建出可視化/報表模塊所需要的配置文件，發送給可視化/報表模塊。
- 可視化/報表模塊基于獲得的配置信息，從數據平臺獲取數據，將最終結果呈現給用戶。
為什么TDengine 能做到“無問智推”？
上述的(de)流程看上去(qu)很(hen)(hen)簡單，也是(shi)很(hen)(hen)多人能(neng)想(xiang)到的(de)，但實現它有(you)相當(dang)大的(de)工程技術的(de)挑戰，因(yin)為數據(ju)平臺里往往有(you)很(hen)(hen)多數據(ju)庫(ku)，很(hen)(hen)多表，在(zai)工業場景里，測點數可能(neng)超過(guo)千(qian)(qian)萬，設備種類都是(shi)數千(qian)(qian)個(ge)，要讓LLM把這些庫(ku)、表之間的(de)關(guan)聯(lian)關(guan)系，每(mei)張表以及每(mei)個(ge)字段(duan)的(de)業務意義理解挖掘(jue)出(chu)來是(shi)極為困難的(de)。對(dui)于復雜(za)查詢而(er)言，由 LLM 完成 Text to SQL 的(de)任務是(shi)相當(dang)有(you)挑戰的(de)。那為什么 TDengine 能(neng)做到呢？有(you)幾點：
- TDengine 有獨特的存儲模型，采用“一個設備一張表”的建模方式。如果你有一百萬個設備，就需要建立一百萬張表。即使一個設備有不同的子系統，每個子系統的采集頻次完全不一樣，甚至采集點不停增刪改變，通過 TDengine 創新的“虛擬表”設計，邏輯上仍然能將一個設備用一張表來描述。而且 TDengine 提出創新的“超級表”的設計，能將同類設備數據的聚合簡化為一張超級表的查詢。通過“虛擬表”與“超級表”，極大的減少了 JOIN 操作，簡化了 SQL 查詢，讓 SQL 自動生成成為可能。
- TDengine 的內核是一個高性能、分布式時序數據庫TSDB，它能匯聚、清洗、轉換并存儲各種數據源的數據，包括 MQTT, Kafka, OPC-UA, OPC-DA 等等。而且它內置有強大的流式計算引擎，提供定時窗口、滑動窗口、事件窗口、狀態窗口、會話窗口、計數窗口等多種觸發方式，提供表達式計算、時間窗口聚合計算、不同流之間的聚合計算，它還能主動將窗口的觸發以及計算的結果通知給應用。而且用戶是通過 SQL 語句來創建和管理流計算的，這樣便于 APP 來使用，更便于 LLM 生成。
- TDengine 在 TSDB 基礎上，推出了工業數據管理平臺，讓用戶構建統一的數據目錄，能夠對存儲的數據進行標準化和情景化處理。它容許配置各種設備、屬性、面板、分析、通知的模版，提供物理單位的自動轉換，支持計算表達式、命名模式、字符串構建、數據引用等等，讓數據實現標準化；同時容許給每個設備、每個屬性配置描述信息、極限值、位置、物理單位、標簽等等，讓數據具有業務意義，實現數據的情境化。同時它還提供樹狀層次結構模型，幫用戶把數據目錄建立起來，不僅便于瀏覽數據，更是幫助建立物理或邏輯實體之間的關系。
通過這些基礎性的工作，存儲在 TDengine 數據平臺里的海量數據成為 AI-Ready 的數據集。如果僅僅是一個通用型的時序數據庫，沒(mei)有(you)“超級表”“虛擬(ni)表”帶來(lai)的(de) SQL 簡化，沒(mei)有(you)內置的(de)流式計算帶來(lai)的(de)實(shi)時分(fen)析，沒(mei)有(you)數據(ju)(ju)標準化、情(qing)景化帶來(lai)的(de)數據(ju)(ju)業(ye)務語義，自動生成實(shi)時面板、報(bao)表沒(mei)有(you)可能(neng)。
從拉到推，數據消費范式的改變
TDengine 的創新和工(gong)程技術的實現帶來的是數據(ju)(ju)消(xiao)費范式的改(gai)變(bian)(Data Consumption Paradigm Shift)。數據(ju)(ju)分析(xi)(xi)，歷來都是由用戶(hu)主(zhu)動發(fa)出請求(qiu)(比如SQL查詢), 然后由系統返回給(gei)用戶(hu)。現在依靠 LLM，AI Agent 讓數據(ju)(ju)自己說話，主(zhu)動將業務(wu)分析(xi)(xi)洞察的結果推(tui)送給(gei)你，將分析(xi)(xi)由“Pull”變(bian)成”Push”，用戶(hu)的數據(ju)(ju)消(xiao)費變(bian)為被動消(xiao)費，數據(ju)(ju)分析(xi)(xi)進入(ru)”抖音”時代(dai)，數據(ju)(ju)分析(xi)(xi)的門檻直接降為零。
通過一系(xi)列的(de)(de)數據(ju)處理(li)的(de)(de)基礎性工作，借助 LLM，數據(ju)平臺(tai)就可以成為了(le)一個自(zi)(zi)治(zhi)的(de)(de)數據(ju)平臺(tai)，成為了(le)一個自(zi)(zi)我(wo)驅動(Self Driving)的(de)(de)實時分析平臺(tai)，不再依賴用戶的(de)(de)知(zhi)識積累和工具使(shi)用技(ji)能。TDengine 只是開了(le)行業的(de)(de)先河，相信今后有很(hen)多類似系(xi)統的(de)(de)出現，而(er)且流行起來。
TDengine 將(jiang)更(geng)進(jin)一步，將(jiang) AI-Ready 的(de)(de)數(shu)據通過開(kai)放的(de)(de) API 給(gei)第三方(fang)應(ying)用提(ti)供。它(ta)提(ti)供的(de)(de)不再是傳統的(de)(de)數(shu)據庫的(de)(de)SQL查詢(xun)結果，而是帶(dai)有(you)數(shu)據業務語義、帶(dai)有(you)數(shu)據上下文的(de)(de) AI-Ready 的(de)(de)查詢(xun)結果，賦能(neng)給(gei)眾多的(de)(de) AI 應(ying)用，讓數(shu)據的(de)(de)擁有(you)者能(neng)最大程度(du)的(de)(de)挖掘出(chu)數(shu)據的(de)(de)價值(zhi)。
10 倍以上工作效率的提升
數據消費范式的(de)改變帶來的(de)是工作效率的(de)指(zhi)數級(ji)提(ti)升。在(zai)過去，數據分(fen)析(xi)嚴(yan)重依賴數據分(fen)析(xi)師或 IT 工程(cheng)師與業(ye)務(wu)(wu)(wu)(wu)人(ren)員的(de)溝(gou)通交流。因為(wei)真正懂(dong)(dong)業(ye)務(wu)(wu)(wu)(wu)知(zhi)識的(de)業(ye)務(wu)(wu)(wu)(wu)主(zhu)管往(wang)(wang)(wang)往(wang)(wang)(wang)不(bu)懂(dong)(dong)數據分(fen)析(xi)和(he)工具(ju)的(de)使用，而工程(cheng)師又(you)往(wang)(wang)(wang)往(wang)(wang)(wang)不(bu)懂(dong)(dong)業(ye)務(wu)(wu)(wu)(wu)，兩個(ge)人(ren)群(qun)之間存在(zai)一(yi)個(ge)巨大(da)的(de)縫隙，導致業(ye)務(wu)(wu)(wu)(wu)提(ti)出分(fen)析(xi)的(de)需求(qiu)，無法實時(shi)滿足。流程(cheng)壓縮和(he)快速(su)獲取(qu)數據結論，會使洞察更(geng)深(shen)入，及時(shi)，決策更(geng)快更(geng)準。
另外一方面，業(ye)(ye)務人員需要有行業(ye)(ye)知(zhi)識的(de)(de)積累。一個(ge)行業(ye)(ye)，特別(bie)是傳統行業(ye)(ye)，比如鋼鐵(tie)、石(shi)油(you)、電力等，往(wang)往(wang)需要至(zhi)少五年(nian)(nian)到(dao)十年(nian)(nian)的(de)(de)行業(ye)(ye)知(zhi)識的(de)(de)積累，才(cai)能(neng)真正提出有價值(zhi)的(de)(de)分析需求。現在對于普通的(de)(de)分析，不再(zai)需要多年(nian)(nian)知(zhi)識和技能(neng)的(de)(de)積累，幾天就(jiu)夠。對更高級的(de)(de)分析，往(wang)往(wang)依賴管理和技術的(de)(de)創新，還需要專(zhuan)家的(de)(de)深度參與。
對于一個物聯網、工業數(shu)據平(ping)臺的(de)(de)(de)建設，您只要采用 TDengine, 把數(shu)據源的(de)(de)(de)管(guan)理做(zuo)好(hao)，制定好(hao)數(shu)據治理的(de)(de)(de)標(biao)(biao)準，通過 TDengine 提供(gong)的(de)(de)(de)工具(ju)實現數(shu)據的(de)(de)(de)標(biao)(biao)準化、情景(jing)化，一切(qie)工作就完成了。
