在 中，我們針對流式計算新增了計數窗口，進一步優化了流式數據處理的能力。本文將為大家解讀流式計算與幾大窗口的關系，并針對新增的計數窗口進行詳細的介紹，幫助大家進一步了解時序數據庫 TDengine 流式計算，以便(bian)更好地進行應用。

什么是 TDengine 流計算？

流計算是一種數(shu)據處(chu)理方(fang)式，旨在(zai)實時(shi)處(chu)理和分析數(shu)據流，以(yi)便在(zai)數(shu)據到達(da)時(shi)以(yi)極低的(de)延遲生成(cheng)結果(guo)。隨著物聯網（IoT）、大數(shu)據和實時(shi)分析需求(qiu)的(de)不斷增長，流計算在(zai)現(xian)代數(shu)據處(chu)理架(jia)構(gou)中變得愈(yu)發重(zhong)要(yao)。TDengine 作(zuo)為一款專為時(shi)序數(shu)據設計的(de)數(shu)據庫，提供了強大的(de)流計算能(neng)力，以(yi)滿足(zu)實時(shi)數(shu)據處(chu)理的(de)需求(qiu)。

隨(sui)著數(shu)據量(liang)的不斷增(zeng)加，使用 SQL 語句(ju)進行(xing)查(cha)詢時，查(cha)詢的耗時可能會顯著增(zeng)加。當查(cha)詢時間超過 5 秒時，用戶的人機(ji)交互體驗往(wang)往(wang)會受到影響。這種情況下，預先生(sheng)成中(zhong)間結果(guo)以(yi)加速查(cha)詢顯得尤為重(zhong)要(yao)。盡管 TDengine 提供了多種預計算方法，但這些(xie)方法在靈(ling)活(huo)性上存在一定(ding)限制，特(te)別是在定(ding)義計算窗口方面。因此，對于某些(xie)特(te)定(ding)的查(cha)詢需(xu)求(qiu)，流計算成為了一個更優的選(xuan)擇。

在實際應用中(zhong)，流(liu)計(ji)(ji)(ji)算(suan)(suan)(suan)特別適(shi)合于(yu)大屏(ping)展示、即席查詢和實時(shi)告警等場(chang)景。這些(xie)場(chang)景通(tong)常要求快速(su)響(xiang)應，任何(he)延(yan)遲都(dou)可(ke)能(neng)影響(xiang)決策或(huo)用戶體驗。通(tong)過流(liu)計(ji)(ji)(ji)算(suan)(suan)(suan)，用戶可(ke)以(yi)將耗(hao)時(shi)較長(chang)的(de)計(ji)(ji)(ji)算(suan)(suan)(suan)結(jie)(jie)果存儲到額外的(de)結(jie)(jie)果表(biao)中(zhong)，并(bing)在數據寫入時(shi)實時(shi)更新最近(jin)一個窗口的(de)計(ji)(ji)(ji)算(suan)(suan)(suan)結(jie)(jie)果。這意味著用戶只需查詢數據量較小的(de)結(jie)(jie)果表(biao)，就能(neng)夠快速(su)獲取所需的(de)計(ji)(ji)(ji)算(suan)(suan)(suan)結(jie)(jie)果，從而顯(xian)著提高了查詢效率(lv)和響(xiang)應速(su)度。

此外，雖然(ran)數據(ju)訂閱也可以達到類似流計算(suan)(suan)的(de)(de)(de)效果(guo)，但這種方式需(xu)(xu)要用(yong)戶自己編(bian)寫數據(ju)訂閱程序(xu)。這不僅(jin)增加了(le)開(kai)發的(de)(de)(de)復雜性，還需(xu)(xu)要額外的(de)(de)(de)機制(zhi)來(lai)確保該(gai)程序(xu)的(de)(de)(de)高(gao)(gao)可用(yong)性。例如(ru)，當程序(xu)意外重(zhong)啟或遷移到其(qi)他(ta)節(jie)點時，需(xu)(xu)要能夠復用(yong)之前的(de)(de)(de)計算(suan)(suan)狀(zhuang)態，以防止數據(ju)丟失(shi)或計算(suan)(suan)中斷。因此，相(xiang)比于(yu)數據(ju)訂閱，TDengine 的(de)(de)(de)流計算(suan)(suan)提供了(le)更為簡單和高(gao)(gao)效的(de)(de)(de)解(jie)決方案(an)，能夠更好地滿足實時數據(ju)處理的(de)(de)(de)需(xu)(xu)求(qiu)。

TDengine 流計算主要包括以下幾大特點：

基于事件訂閱

流計算采用事件驅動的方式(shi)，能(neng)夠輕松處理(li)(li)亂序(xu)數(shu)據，確(que)保數(shu)據處理(li)(li)的及時(shi)性(xing)(xing)和(he)準確(que)性(xing)(xing)。這種方式(shi)使得(de)系統能(neng)夠在數(shu)據到(dao)達時(shi)立即進行(xing)處理(li)(li)，極大地降低了延遲。

多種窗口支持

TDengine 支持多(duo)種計算窗(chuang)(chuang)口(kou)(kou)(kou)，包括時(shi)間窗(chuang)(chuang)口(kou)(kou)(kou)、狀態窗(chuang)(chuang)口(kou)(kou)(kou)、會話窗(chuang)(chuang)口(kou)(kou)(kou)和計數(shu)窗(chuang)(chuang)口(kou)(kou)(kou)，并且支持滑動窗(chuang)(chuang)口(kou)(kou)(kou)。這(zhe)種靈活的(de)窗(chuang)(chuang)口(kou)(kou)(kou)設(she)置使得用(yong)戶能(neng)夠根據業務(wu)需求(qiu)，定(ding)義合適(shi)的(de)計算范圍。

設備維度計算

流計(ji)算(suan)能夠按照設(she)備維(wei)度進(jin)行(xing)計(ji)算(suan)，這意味著用戶可以針(zhen)對(dui)特定(ding)設(she)備的數據進(jin)行(xing)快速計(ji)算(suan)，降低(di)了(le) CPU 的消(xiao)耗，提高(gao)了(le)效(xiao)率。

TDengine 流(liu)式(shi)計(ji)算(suan)(suan)在許多(duo)方面優于其(qi)(qi)他流(liu)計(ji)算(suan)(suan)框架(jia)，其(qi)(qi)中一(yi)個顯著(zhu)的(de)優勢(shi)(shi)是(shi)它(ta)支持對歷(li)史(shi)數(shu)(shu)據的(de)計(ji)算(suan)(suan)。大多(duo)數(shu)(shu)流(liu)計(ji)算(suan)(suan)框架(jia)通常僅能(neng)處理從流(liu)計(ji)算(suan)(suan)創建時開始的(de)數(shu)(shu)據，這(zhe)使得它(ta)們在分析(xi)長時間跨度的(de)數(shu)(shu)據時受(shou)到(dao)限制。而 TDengine 則允(yun)許用戶(hu)對歷(li)史(shi)數(shu)(shu)據進行計(ji)算(suan)(suan)，這(zhe)對于需要(yao)回溯分析(xi)或綜合(he)考慮(lv)歷(li)史(shi)趨勢(shi)(shi)的(de)場景(jing)來(lai)說(shuo)極為重要(yao)。

此外，TDengine 還具備出色的過期(qi)數(shu)據(ju)處理(li)能力(li)。當(dang)窗口(kou)關(guan)閉后，其他框架可(ke)(ke)(ke)能無(wu)法有(you)效處理(li)過期(qi)數(shu)據(ju)，而(er) TDengine 則能夠從時序(xu)數(shu)據(ju)存儲引擎中查找窗口(kou)的歷(li)史(shi)數(shu)據(ju)，并(bing)重(zhong)新計算以獲得準確(que)(que)的結果。這種能力(li)確(que)(que)保在窗口(kou)關(guan)閉之后，用戶(hu)仍然可(ke)(ke)(ke)以獲得完(wan)整和精(jing)確(que)(que)的數(shu)據(ju)分(fen)析，從而(er)提升了數(shu)據(ju)處理(li)的可(ke)(ke)(ke)靠性和準確(que)(que)性。

讀到這里，如果你想要進行基于 TDengine 的(de)流式計(ji)算實操，可以參考(kao)官網提供的(de)詳細(xi)教程(cheng)：。

什么是“窗口”？

窗口是一種數據處理機制，用于將無界的、連續的流數據劃分為有限的、可管理的部分。通過這種劃分，流計算引擎可以對每個窗口內的數據進行聚合計算，從而生成有意義的統計信息。例如，我們可以計算某個時間段內的平均值、總和、最大值或最小值等。

在數據處理領域，尤其是在流計算中，窗口是一個至關重要的概念。它用于將連續的時序數據拆分成有限大小的“存儲桶”，每個存儲桶中包含若干條記錄，對這些記錄進行聚合計算后，再將結果寫入到其他數據表中。這種拆分方式使得我們能夠對數據進行有效的處理和分析，尤其是在實時數據流的情況下。

在流計算中，如果不設置窗口，計算操作通常只能使用標量函數。標量函數是指作用于單個值的函數，例如求平方、取絕對值等。這意味著在沒有窗口的情況下，無法進行復雜的數據聚合和統計分析。而窗口的引入，使得我們能夠在實時數據流中進行更加復雜的聚合計算，從而提升流計算的能力和靈活性。

在 TDengine 中，窗口主要有以下幾種不同的類型：

1. 會話窗口：根據記錄的時間戳主鍵的值來確定是否屬于同一個會話。相同會話中的記錄時間戳之間的差異小于預設的會話間隔時，這些記錄被視為同一會話的一部分。
2. 狀態窗口：使用整數（布爾值）或字符串來標識產生記錄時候設備的狀態量。產生的記錄如果具有相同的狀態量數值則歸屬于同一個狀態窗口，數值改變后該窗口關閉
3. 時間窗口：時間窗口是根據時間段來劃分的，又可分為滑動時間窗口和翻轉時間窗口。滑動時間窗口會隨著時間的推移而動態更新，而翻轉時間窗口則是在固定時間段內進行聚合。
4. 事件窗口：事件窗口根據開始條件和結束條件來劃定窗口，當 start_trigger_condition 滿足時則窗口開始，直到 end_trigger_condition 滿足時窗口關閉。

以及(ji)下文要著重(zhong)介(jie)紹的(de)在 3.2.3.0 版本中新增(zeng)的(de)計數窗(chuang)口。在實(shi)際(ji)應用(yong)中，用(yong)戶可(ke)以根據需求將(jiang)多種窗(chuang)口類(lei)型(xing)組合使用(yong)，以實(shi)現更復雜的(de)分(fen)析。

計數窗口詳解

計數(shu)(shu)(shu)窗(chuang)口(kou)根據固定(ding)的(de)數(shu)(shu)(shu)據行(xing)數(shu)(shu)(shu)進行(xing)劃分。默認情況下，數(shu)(shu)(shu)據首先按時間戳(chuo)排序，然后根據 count_val 的(de)值將數(shu)(shu)(shu)據分成多(duo)個(ge)窗(chuang)口(kou)，并進行(xing)聚(ju)合計算(suan)。count_val 表示每個(ge)窗(chuang)口(kou)中包含的(de)最大數(shu)(shu)(shu)據行(xing)數(shu)(shu)(shu)。如果(guo)總數(shu)(shu)(shu)據行(xing)數(shu)(shu)(shu)不能被 count_val 整除，則最后一(yi)個(ge)窗(chuang)口(kou)的(de)行(xing)數(shu)(shu)(shu)將小于 count_val。sliding_val 是一(yi)個(ge)常量，表示窗(chuang)口(kou)滑(hua)動的(de)數(shu)(shu)(shu)量，類(lei)似于 interval 的(de)滑(hua)動窗(chuang)口(kou)概念。

window_clause: {    SESSION(ts_col, tol_val)    | STATE_WINDOW(col)    | INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]    | EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition    | COUNT_WINDOW(count_val[, sliding_val])    }

以下面的(de) SQL 語句(ju)為例，計(ji)數窗口切(qie)分(fen)如圖所示：

select _wstart, _wend, count(*) from t count_window(4);

計(ji)數(shu)窗口(kou)在許多場(chang)景中具有重要應用。例如，在公(gong)路(lu)收費站，每當一輛車(che)通(tong)(tong)過時，系統便會生(sheng)成一條記錄，通(tong)(tong)過計(ji)數(shu)窗口(kou)可(ke)以實時監測(ce)和顯(xian)示車(che)輛的(de)密集程度(du)。這種實時數(shu)據分析有助于(yu)管理(li)交通(tong)(tong)流量(liang)，優化收費站的(de)運營效率，確保道路(lu)暢(chang)通(tong)(tong)。

另一個(ge)(ge)典(dian)型應(ying)用是在生(sheng)產(chan)(chan)制(zhi)造車間。每當生(sheng)產(chan)(chan)出 100 件設備，就(jiu)會形成一個(ge)(ge)新的(de)批(pi)次，此時(shi)可以利用計數窗(chuang)口統計該批(pi)次的(de)各種參數，如(ru)環境溫(wen)度(du)和生(sheng)產(chan)(chan)速度(du)。這(zhe)種數據(ju)的(de)實(shi)時(shi)采集與分析，不僅(jin)能提(ti)高生(sheng)產(chan)(chan)過程的(de)透明(ming)度(du)，還能幫助(zhu)管理(li)人員及時(shi)調整(zheng)生(sheng)產(chan)(chan)策略，確保產(chan)(chan)品(pin)質(zhi)量(liang)與生(sheng)產(chan)(chan)效率。

以公路收費站進(jin)行如下應用示(shi)例：

CREATE STREAM stream_name  TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s  INTO stream_stb_name  AS    SELECT _wstart AS ts, count(*) c1, sum(b), max(c)    FROM st    PARTITION BY tbname, ta, a    COUNT_WINDOW(9);

如果你(ni)想(xiang)了解關(guan)于更(geng)多窗口的(de)應用實例(li)，可以查閱官(guan)方文檔：

結語

通過本(ben)文，可以看(kan)到流(liu)式計算(suan)與窗(chuang)(chuang)口機制之間的(de)(de)密(mi)切關(guan)系。計數窗(chuang)(chuang)口的(de)(de)引入為用(yong)(yong)戶提供了更靈活、高(gao)效的(de)(de)數據處(chu)理能(neng)(neng)力，使得在(zai)實時數據分析中能(neng)(neng)夠獲得更好(hao)的(de)(de)性能(neng)(neng)表現。希望本(ben)文能(neng)(neng)幫助(zhu)你更好(hao)地理解(jie)并應用(yong)(yong) TDengine 的(de)(de)流(liu)計算(suan)功能(neng)(neng)，歡迎大家體驗。