隨著數(shu)據(ju)通訊成(cheng)(cheng)本(ben)的(de)急劇下(xia)降(jiang)，以(yi)及各種(zhong)傳感(gan)技(ji)術和(he)(he)智能(neng)設(she)備的(de)出現，從(cong)手環、共享出行(xing)、智能(neng)電表、環境監測設(she)備到電梯、數(shu)控(kong)機床、挖掘機、工業(ye)生產線(xian)等都(dou)在源(yuan)(yuan)源(yuan)(yuan)不斷的(de)產生海量的(de)實(shi)時(shi)數(shu)據(ju)并(bing)發往云端。這些海量數(shu)據(ju)是(shi)社會和(he)(he)企業(ye)寶貴的(de)財富，能(neng)夠幫助企業(ye)實(shi)時(shi)監控(kong)業(ye)務或設(she)備的(de)運行(xing)情況(kuang)，生成(cheng)(cheng)各種(zhong)維(wei)度的(de)報表，而且(qie)通過大數(shu)據(ju)分(fen)析和(he)(he)機器(qi)學習，對(dui)業(ye)務進(jin)行(xing)預測和(he)(he)預警，幫助社會或企業(ye)進(jin)行(xing)科學決策(ce)、節約成(cheng)(cheng)本(ben)并(bing)創造新(xin)的(de)價值(zhi)。

Gartner報告(gao)聯網(wang)的(de)設備在2019年已經(jing)超過(guo)142億(yi)，預(yu)計(ji)2021年將(jiang)達到250億(yi)，這是一(yi)個巨大(da)的(de)數量，產生海量的(de)數據(ju)。但與現在大(da)家所熟(shu)悉的(de)互聯網(wang)相比，物聯網(wang)IoT平(ping)臺數據(ju)有(you)其顯(xian)著不同(tong)特點(dian)，本文對其特點(dian)做一(yi)分析。

• 數據是時序的，一定帶有時間戳：聯網的設備按照設定的周期，或受外部的事件觸發，源源不斷的產生數據，每一個數據點是在一時間點產生的，這個時間對于數據的計算和分析十分重要，必須要記錄。
• 數據是結構化的：網絡爬蟲的數據、微博、微信的海量數據都是非結構化的，可以是文字、圖片、視頻等等。但物聯網IoT平臺設備產生的數據往往是結構化的，而且是數值型的，比如智能電表采集的電流、電壓就可以用4字節的標準的浮點數來表示。
• 數據極少有更新操作：聯網設備產生的數據是機器日志數據，一般不容許而且也沒有修改的必要。很少有場景，需要對采集的原始數據進行修改。但對于一個典型的信息化或互聯網應用，記錄是一定可以修改或刪除的。
• 數據源是唯一的：一個物聯網IoT平臺設備采集的數據與另外一個設備采集的數據是完全獨立的。一臺設備的數據一定是這臺設備產生的，不可能是人工或其他設備產生的，也就是說一臺設備的數據只有一個生產者，數據源是唯一的。
• 相對互聯網應用，寫多讀少：對于互聯網應用，一條數據記錄，往往是一次寫，很多次讀。比如一條微博或一篇微信公共號文章，一次寫，但有可能上百萬人讀。但物聯網IoT平臺設備產生的數據不一樣，對于產生的數據，一般是計算、分析程序自動的讀，而且計算、分析次數不多，只有分析事故等場景，人才會主動看原始數據。
• 用戶關注的是一段時間的趨勢：對于一條銀行記錄，或者一條微博、微信，對于它的用戶而言，每一條都很重要。但對于物聯網IoT平臺數據，每個數據點與數據點的變化并不大，一般是漸變的，大家關心的更多是一段時間，比如過去的五分鐘，過去的一個小時數據變化的趨勢，一般對某一特定時間點的數據值并不關注。
• 數據是有保留期限的：采集的數據一般都有基于時長的保留策略，比如僅僅保留一天、一周、一個月、一年甚至更長時間，為節省存儲空間，系統最好能自動刪除。
• 數據的查詢分析往往是基于時間段和某一組設備的：對于物聯網IoT平臺數據，做計算和分析的時候，一定是指定時間范圍的，不會只針對一個時間點或者整個歷史進行。而且往往需要根據分析的維度，對物聯網IoT平臺設備的一個子集采集的數據進行分析，比如某個地理區域的設備，某個型號、某個批次的設備，某個廠商的設備等等。
• 除存儲查詢外，往往需要實時分析計算操作：對于大部分互聯網大數據應用，更多的是離線分析，即使有實時分析，但實時分析的要求并不高。比如用戶畫像、可以積累一定的用戶行為數據后進行，早一天晚一天畫不會怎么影響結果。但是對于物聯網IoT平臺應用，對數據的實時計算要求往往很高，因為需要根據計算結果進行實時報警，以避免事故的發生。
• 流量平穩、可預測：給定物聯網IoT平臺數量、數據采集頻次，就可以較為準確的估算出所需要的帶寬和流量，每天新生成的數據大小。而不是像電商，在雙11期間，淘寶、天貓、京東等流量是幾十倍的漲幅。不像12306網站，春節期間，網站流量是幾十倍的增長。
• 數據處理的特殊性：與典型的互聯網相比，還有不一樣的數據處理需求。比如要檢查某個具體時間的設備采集的某個量，但傳感器實際采集的時間不是這個時間點，這時候往往需要做插值處理。還有很多場景，需要基于采集量，做復雜的數學函數計算。
• 數據量巨大：以智能電表為例，一臺智能電表每隔15分鐘采集一次數據，每天自動生成96條記錄，全國就有接近5億臺智能電表，每天光智能電表就生成近500億條記錄。一臺聯網的汽車每隔10到15秒就采集一次數據發到云端，一臺車一天就很容易產生1000條記錄。如果中國2億輛車全部聯網，每天將產生2000億條記錄。五年之內，物聯網IoT平臺設備產生的數據將占世界數據總量的90%以上。

物聯(lian)(lian)網(wang)IoT平臺數(shu)據(ju)、互(hu)聯(lian)(lian)網(wang)工(gong)業大(da)數(shu)據(ju)是流(liu)式數(shu)據(ju)，象視(shi)頻流(liu)，而且(qie)單(dan)個數(shu)據(ju)點(dian)的(de)(de)(de)(de)價值很低，甚至丟失一小段(duan)時間的(de)(de)(de)(de)數(shu)據(ju)也不影響分析的(de)(de)(de)(de)結論，也不影響系(xi)統的(de)(de)(de)(de)正常運行。但看似(si)簡單(dan)的(de)(de)(de)(de)事情，由(you)于(yu)(yu)數(shu)據(ju)記錄條數(shu)巨大(da)，導(dao)致數(shu)據(ju)的(de)(de)(de)(de)實(shi)時寫入成(cheng)為(wei)瓶頸(jing)，查詢(xun)分析極為(wei) 緩慢，成(cheng)為(wei)新的(de)(de)(de)(de)技(ji)術挑戰。傳(chuan)統的(de)(de)(de)(de)關(guan)系(xi)型數(shu)據(ju)庫、NoSQL 數(shu)據(ju)庫以(yi)及流(liu)式計(ji)(ji)算(suan)引擎(qing)由(you)于(yu)(yu)沒有(you)充分利(li)用物聯(lian)(lian)網(wang)IoT平臺數(shu)據(ju)的(de)(de)(de)(de)特點(dian)，性能提升極為(wei)有(you)限，只能依靠集群技(ji)術，投入更多(duo)的(de)(de)(de)(de)計(ji)(ji)算(suan)資源 和存(cun)儲資源來處理，系(xi)統的(de)(de)(de)(de)運營(ying)維(wei)護成(cheng)本急(ji)劇上(shang)升。

面(mian)對這一高(gao)速增(zeng)長(chang)的(de)(de)物聯網IoT平(ping)臺數(shu)據市場，近(jin)幾年出現一批專(zhuan)注時序數(shu)據處理的(de)(de)公司(si)，比如美國(guo)的(de)(de)InfluxData,其融資已經超過1.3億(yi)美元，其產品(pin)InfluxDB在IT運維監(jian)測方面(mian)有相當(dang)的(de)(de)市場占有率(lv)。在工業控制領域老牌實時數(shu)據庫公司(si)OSIsoft在2017年5月獲得(de)軟(ruan)銀12億(yi)美元的(de)(de)投資，期望成為(wei)新興的(de)(de)物聯網IoT平(ping)臺領域的(de)(de)數(shu)據庫的(de)(de)領頭羊(yang)。開源社區(qu)也十分活躍，比如基于(yu)HBase開發的(de)(de)OpenTSDB。中國(guo)國(guo)內，阿里(li)、百度(du)、華為(wei)都有基于(yu)OpenTSDB的(de)(de)產品(pin)。

2017年成(cheng)立的北京濤(tao)思數據(ju)科技有(you)限(xian)公司(si)看好(hao)這一市場(chang)，不依(yi)賴任何第三(san)方(fang)軟(ruan)件(jian)或開(kai)源軟(ruan)件(jian)，在吸(xi)取眾多傳統關系型數據(ju)庫、NoSQL 數據(ju)庫、流式計算(suan)引擎、消息隊(dui)列等軟(ruan)件(jian)的優(you)點之后自主開(kai)發了TDengine Database，一個完整的時序大數據(ju)處(chu)理(li)引擎。TDengine Database的性(xing)能(neng)遠超InfluxDB, 而(er)且(qie)其安裝、部署(shu)、維護簡單(dan)，使用SQL接口(kou)，學習成(cheng)本幾乎為(wei)零(ling)，有(you)望成(cheng)為(wei)時序數據(ju)處(chu)理(li)市場(chang)的一匹黑馬。