OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <atom:link href="//www.yakult-sh.com.cn/opentsdb/feed" rel="self" type="application/rss+xml" /> <link>//www.yakult-sh.com.cn</link> <description>TDengine | 楂樻€ц兘銆佸垎甯冨紡銆佹敮鎸丼QL鐨勬椂搴忔暟鎹簱 | 娑涙€濇暟鎹?/description> <lastBuildDate>Tue, 22 Oct 2024 00:12:22 +0000</lastBuildDate> <language>zh-Hans</language> <sy:updatePeriod> hourly </sy:updatePeriod> <sy:updateFrequency> 1 </sy:updateFrequency> <generator>//wordpress.org/?v=6.8.2</generator> <image> <url>//www.yakult-sh.com.cn/wp-content/uploads/2025/07/favicon.ico</url> <title>OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <link>//www.yakult-sh.com.cn</link> <width>32</width> <height>32</height> </image> <item> <title>TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?/title> <link>//www.yakult-sh.com.cn/tdengine-engineering/16710.html</link> <dc:creator><![CDATA[Haojun Liao]]></dc:creator> <pubDate>Thu, 23 Feb 2023 09:05:07 +0000</pubDate> <category><![CDATA[鎶€鏈枃绔?- 鏃跺簭鏁版嵁搴揮]></category> <category><![CDATA[InfluxDB闆嗙兢]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[鏃堕棿搴忓垪鏁版嵁]]></category> <category><![CDATA[绮鹃€塢]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=16710</guid> <description><![CDATA[涓轰簡瀹㈣銆佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢燭SBS锛圱ime Series Benchmark Suite锛変綔涓哄熀鍑嗘€ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆俔]></description> <content:encoded><![CDATA[ <p>2022 骞?8 鏈堟垜浠湪 TDengine 寮€鍙戣€呭ぇ浼氫笂姝e紡鍙戝竷浜?TDengine 3.0锛孴Dengine 涔熺敱姝ゅ崌绾ф垚涓轰簡涓€娆句簯鍘熺敓<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="鏃跺簭鏁版嵁搴? target="_blank" rel="noopener">鏃跺簭鏁版嵁搴?/a>锛圱ime Series Database锛?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>锛夈€備负浜嗗瑙傘€佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢?strong>TSBS锛圱ime Series Benchmark Suite锛?/strong>浣滀负鍩哄噯鎬ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆?/p> <p>TSBS 鏄竴涓椂搴忔暟鎹鐞嗭紙鏁版嵁搴擄級绯荤粺鐨勬€ц兘鍩哄噯娴嬭瘯骞冲彴锛屾彁渚涗簡 IoT銆丏evOps 涓や釜鍏稿瀷搴旂敤鍦烘櫙锛屽畠鐢?Timescale 寮€婧愬苟璐熻矗缁存姢銆備綔涓轰竴涓€ц兘鍩哄噯娴嬭瘯骞冲彴锛孴SBS 鍏锋湁渚挎嵎銆佹槗鐢ㄣ€佹墿灞曠伒娲荤瓑鐗圭偣锛屾兜鐩栦簡鏃跺簭鏁版嵁鐨勭敓鎴愩€佸啓鍏ワ紙鍔犺浇锛夈€佸绉嶇被鍒殑鍏稿瀷鏌ヨ绛夊姛鑳斤紝骞惰兘澶熻嚜鍔ㄦ眹鎬绘渶缁堢粨鏋溿€傜敱浜庡叾寮€鏀惧紑婧愮殑鐗圭偣锛屽緱鍒颁簡浼楀鏁版嵁搴撳巶鍟嗙殑鏀寔锛屼綔涓轰笓涓氱殑浜у搧鎬ц兘鍩哄噯娴嬭瘯骞冲彴琚嫢骞叉暟鎹簱鍘傚晢骞挎硾浣跨敤銆?/p> <p>浠ヤ笅鐨勬€ц兘鍩哄噯鎶ュ憡鍧囦娇鐢ㄤ簡 TSBS 浣滀负鍩虹 Benchmark 骞冲彴锛屾垜浠粠鏃堕棿璺ㄥ害鍜屽彂甯冨巶鍟嗙殑鐭ュ悕搴﹀悓鏃舵潵鐪嬶紝灏辫兘鍙戠幇锛屽熀纭€娴嬭瘯骞冲彴 TSBS 宸茬粡鍏峰浜嗗緢楂樼殑璁ゅ彲搴︼細</p> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p><strong>2018 骞?11 鏈?/strong><br>VictoriaMetrics 鐨勫垱濮嬩汉 Aliaksandr Valialkin 鍙戝竷 銆奌igh-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB銆嬶紝灏?VictoriaMetrics 涓?TimescaleDB銆両nfluxDB 杩涜鎬ц兘瀵规瘮銆?br><br><strong>2018 骞?11 鏈?/strong><br>鏂囩珷銆奀lickHouse Crushing Time Series銆嬩腑瀵规瘮浜?TimescaleDB, InfluxDB, ClickHouse 鍦ㄦ椂搴忔暟鎹満鏅笅鐨勬€ц兘銆?br><br><strong>2020 骞?3 鏈?/strong><br>Cloudera 鍦ㄧ綉绔欏崥瀹腑鍙戝竷銆夿enchmarking Time Series workloads on Apache Kudu using TSBS銆嬶紝鍦?DevOps鍦烘櫙 涓姣斾簡 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 绛夋暣浣撴€ц兘琛ㄧ幇銆?br><br><strong>2020 骞?3 鏈?/strong><br>Redis 鍙戝竷浜嗗熀浜?TSBS 鐨勬€ц兘鎶ュ憡銆奟edisTimeSeries Version 1.2 Benchmarks銆嬨€?br><br><strong>2020 骞?8 鏈?/strong><br>Timescale 鍦ㄥ叾瀹樻柟鍗氬鍙戝竷浜嗘€ц兘瀵规瘮鎶ュ憡銆奣imescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data銆嬨€?br><br><strong>2021 骞?8 鏈?/strong><br>QuestDB 鍙戝竷浜?QuestDB 涓?TimescaleDB 鐨勬€ц兘瀵规瘮鎶ュ憡鈥斺€斻€奞uestDB vs. TimescaleDB銆嬨€?/p> </blockquote> <p>DevOps 鍦烘櫙鏄竴涓吀鍨嬬殑鏃跺簭鏁版嵁搴旂敤鍦烘櫙锛孴SBS DevOps 鍦烘櫙鎻愪緵浜?CPU 鐘舵€佺殑妯℃嫙鏁版嵁锛岄拡瀵规瘡涓澶囷紙CPU锛夎褰曞叾 10 涓祴閲忓€硷紙metric锛夛紝1 涓椂闂存埑锛堢撼绉掑垎杈ㄧ巼锛夛紝10 涓爣绛惧€硷紙tag锛夈€傜敓鎴愮殑鏁版嵁姣?10 绉掗棿闅斾竴鏉¤褰曪紝鍏蜂綋鐨勫唴瀹瑰拰绀轰緥鏁版嵁濡備笅锛?/p> <div class="wp-block-image"> <figure class="aligncenter size-large"><img fetchpriority="high" decoding="async" width="1024" height="159" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png" alt="TDengine Database" class="wp-image-16423" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-300x46.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-768x119.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12.png 1246w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure></div> <p>TSBS 娴嬭瘯鍙互绠€鍗曞垝鍒嗕负涓や釜涓昏閮ㄥ垎鈥斺€旀暟鎹啓鍏ュ拰鏁版嵁鏌ヨ銆傚湪鏈鏁翠釜鍩哄噯鎬ц兘璇勪及涓紝鍏辨秹鍙婁互涓嬩簲涓満鏅紝姣忎釜鍦烘櫙鐨勫叿浣撴暟鎹妯″拰鐗圭偣瑙佷笅琛細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16712" width="768" height="180" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-300x70.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-768x180.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1536x361.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-2048x481.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>閫氳繃涓婅〃鍙互鐪嬪埌锛屼簲涓満鏅殑鍖哄埆涓昏鍦ㄤ簬鏁版嵁闆嗘墍鍖呭惈鐨勮澶囪褰曟暟閲忋€佽澶囨暟鐨勪笉鍚岋紝鏁版嵁鏃堕棿闂撮殧鍧囩淮鎸佸湪 10 sec銆傛暣浣撴潵鐪嬶紝浜斾釜鍦烘櫙鐨勬暟鎹妯¢兘涓嶇畻澶э紝鏁版嵁瑙勬ā鏈€澶х殑鏄満鏅簲锛屾暟鎹揪鍒颁簡 1.8 浜匡紝鏁版嵁瑙勬ā鏈€灏忕殑鏄満鏅竴锛屽彧鏈?2678 涓囨潯璁板綍銆傚湪鍦烘櫙鍥涘拰鍦烘櫙浜斾腑锛岀敱浜庤澶囨暟閲忕浉瀵硅緝澶氾紝鎵€浠ユ暟鎹泦浠呰鐩栦簡 3 鍒嗛挓鐨勬椂闂磋法搴︺€?/p> <p>涓轰簡淇濊瘉娴嬭瘯缁撴灉鐨勫叕姝e彲闈犲強鍙鍒舵€э紝鎴戜滑閫夌敤浜嗗叕鍏?IaaS 骞冲彴鏉ユ惌寤?Benchmark 鍩虹纭欢鐜锛岄噰鐢ㄤ簡澶у鏁版€ц兘瀵规瘮鎶ュ憡涓娇鐢ㄧ殑鍦烘櫙鈥斺€斾簹椹€?EC2 鏈嶅姟鐜涓?r4.8xlarge 绫诲瀷鐨勫疄渚嬩綔涓哄熀纭€杩愯骞冲彴锛屽尯鍩熶负鍖楃編鍦板尯锛屽寘鎷?1 鍙版湇鍔″櫒銆? 鍙板鎴风銆傚鎴风涓庢湇鍔″櫒纭欢閰嶇疆瀹屽叏鐩稿悓锛屼袱鑰呬娇鐢?10 Gbps 缃戠粶杩炴帴銆傞厤缃畝琛ㄥ涓嬶細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16713" width="768" height="86" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-300x33.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-768x86.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1536x172.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-2048x229.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>鏈娴嬭瘯鐨勫姣旇蒋浠朵负 InfluxDB 1.8.10 鍙?Timescale 2.6.0锛屽湪杩欓噷瑕佺潃閲嶈鏄庝竴涓嬶紝鐢变簬 InfluxDB 鏈€鏂扮殑 2.0 鐗堟湰骞舵病鏈夌撼鍏?TSBS 鐨勪富骞插垎鏀紝鍥犳鍦ㄨ繖娆℃祴璇曚腑鎴戜滑鏆備笖浣跨敤浜?TSBS 涓诲共鍒嗘敮鎵€鏀寔鐨?InfluxDB 鏈€鏂扮増鏈紝鍗?1.8.10銆?/p> <p>鏁翠釜 TSBS 娴嬭瘯娴佺▼鐩稿姣旇緝绠€鍗曪紝鍦ㄨ繘琛屽啓鍏ユ€ц兘瀵规瘮鏃讹紝閰嶇疆瀹屾垚鍙傛暟鍚庣洿鎺ヨ繍琛?TSBS 妗嗘灦鑴氭湰锛岀瓑寰呯粨鏋滆緭鍑哄嵆鍙€傚浜庢煡璇㈠鐞嗭紝鎴戜滑閫夋嫨浜嗘壒閲忚嚜鍔ㄥ寲鍘昏繍琛岋紝瀵规瘡涓煡璇㈣鍙ヨ繍琛?5000 娆★紝缁熻鏌ヨ寤惰繜鐨勭畻鏁板钩鍧囦綔涓烘渶鍚庣殑鏌ヨ寤惰繜缁撴灉銆傛澶栨垜浠繕鍏ㄧ▼鐩戞帶骞惰褰曚簡鏁翠釜杩囩▼涓湇鍔″櫒涓庡鎴风鑺傜偣鐨勭郴缁熻祫婧愬紑閿€涓庤礋杞芥儏鍐点€?/p> <p>涓嬮潰鍙互绠€鍗曚负澶у浠嬬粛涓嬫湰娆℃祴璇曠粨鏋溿€傚涓嬭〃鎵€绀猴紝鍦ㄥ叏閮ㄤ簲涓満鏅腑锛孴Dengine 鍐欏叆鎬ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽啓鍏ヨ繃绋嬩腑璧勬簮鍗犵敤鏈€浣庛€傚姣?InfluxDB锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 1000 涓囪澶囦笅锛岃揪鍒颁簡 InfluxDB 鐨劼?strong>10.6 鍊?/strong>锛涘姣?TimescaleDB 锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 4000 涓澶囦笅锛岃揪鍒颁簡 TimeScaleDB 鐨劼?strong>6.7 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16714" width="768" height="164" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-300x64.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-768x164.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1536x329.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-2048x438.png 2048w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>鍦ㄦ煡璇㈡祴璇曚笂锛屾垜浠皢鍏跺垎涓?5 澶х被銆?5 灏忕被杩涜鏌ヨ瀵规瘮锛屼粠涓嬪浘缁撴灉姹囨€讳腑鍙互鐪嬪埌锛屽湪鍏ㄩ儴 15 涓煡璇㈢被鍨嬩腑锛孴Dengine 鐨勬€ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽苟涓斿畠鐨勬墍鏈夋煡璇㈠欢杩熷潎姣?InfluxDB 鍜?TimescaleDB 鏇翠綆銆備寒鐐规暟鎹箣涓€浣撶幇鍦?Double Rollups 鏌ヨ绫诲瀷瀵规瘮涓紝TDengine 鏈€澶ц揪鍒?InfluxDB 鐨劼?strong>34 鍊?/strong>锛孴imescaleDB 鐨劼?strong>24 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16716" width="768" height="405" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-300x158.jpg 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-768x405.jpg 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17.jpg 1080w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>浠ヤ笂灏辨槸 TDengine 鍩轰簬 TSBS 娴嬭瘯鎶ュ憡鐨勬祴璇曡儗鏅粙缁嶏紝濡傛灉浣犲娴嬭瘯缁撴灉鎰熷叴瓒o紝娆㈣繋鏌ラ槄<a href="//www.yakult-sh.com.cn/performance-comparison-influxdb-and-timescaledb-vs-tdengine">鏁翠綋鎶ュ憡</a>銆?/p> ]]></content:encoded> </item> <item> <title>鍩轰簬 DataX 鐨?TDengine 3.0 鐗堟湰鏁版嵁杩佺Щ宸ュ叿 //www.yakult-sh.com.cn/tdengine-engineering/16401.html Sat, 18 Feb 2023 04:37:35 +0000 //www.yakult-sh.com.cn/?p=16401 Z DataXQ我们实C TDengine Database 的数据迁UdP目前可以做到 OpenTSDB、MySQL、TDengine(Time Series DataBase,TSDB) {不同数据源之间的数据迁UR这文章的目的是,让用戯够快速了解如何用这个数据迁Ud兗?/p>

1、介l?/h2>

Z DataXQ我们完成了 TDengine 的适配Q对?TDengine 3.0 版本Q实C TDengine30Reader ?TDengine30Writer 两个插g?/p>

TDengine30Reader 提供的功能:

  1. 支持通过 SQL q行数据{选;
  2. Ҏ旉间隔q行d切分Q?/li>
  3. 支持 TDengine 的全部数据类型;
  4. 支持扚wdQ通过 batchSize 参数控制扚w拉取l果集的大小Q提高读取性能?/li>

TDengine30Writer 支持的功能:

  1. 支持 OpenTSDB ?json 格式的行协议Q?TDengine ?schemaless 方式写入 TDengine?/li>
  2. 支持扚w写入Q通过 batchSize 参数控制扚w写入的数量,提高写入性能?/li>

2、实现原?/h2>

TDengine30ReaderQ?JNI 方式?TDengine 拉取数据?/p>

TDengine30WriterQ?JNI 方式写数据到 TDengine。对 OpenTSDB {?schemaless 写入Q对?MySQL {关pd数据库,使用扚w stmt 写入?/p>

3、用方?/h2>

3.1 环境准备

Q?Q需要安?TDengine 客户?/p>

Q?Q需要安?JDK 1.8 环境Q运?DataXQ?/p>

Q?Q需要安?Python 环境Q运?DataXQ?/p>

Q?Q需?maven ~译环境Q如果不~译 DataX 则可以不安装 mavenQ?/p>

3.2 安装

下蝲源码

git clone //github.com/taosdata/DataX.git

~译打包

cd DataX
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

安装

cp target/datax.tar.gz your_install_dir
cd your_install_dir
tar -zxvf dataX.tar.gz

{   "job":{     "content":[{       "reader": {         "name": "opentsdbreader",         "parameter": {           "endpoint": "//192.168.1.180:4242",           "column": ["weather_temperature"],           "beginDateTime": "2021-01-01 00:00:00",           "endDateTime": "2021-01-01 01:00:00"         }       },     "writer": {       "name": "tdengine30writer", "parameter": { "username": "root", "password": "taosdata", "connection": [ { "table": [ "matric1" ], "jdbcUrl": "jdbc:TAOS://192.168.1.101:6030/test?timestampFormat=TIMESTAMP" } ], "batchSize": 1000, "ignoreTagsUnmatched": true }       }     }],     "setting": {       "speed": {         "channel": 1       }     }   } }

配置说明Q?/p>

  • 上面的配|表C,?192.168.1.180 ?OpenTSDBQ到 192.168.1.101 ?TDengine 的迁UR迁U?metric ?weather_temperatureQ时间从 2021-01-01 00:00:00 开始,?2021-01-01 01:00:00 l束的数据?/li>
  • reader 使用 datax ?opentsdbreaderQparameter 的配|请参考:opentsdbreader.md#配置参数
  • tdengine30writer ?parameter 中,userQpassword 为必项Q没有默认倹{batchSize 不是必须,默认gؓ 1。详l参考:tdengine30writer.md#配置参数
  • TDengine 中,如果 dbname 指定?database 不存在,则需要在q移前创建数据库?/li>

3.3.2 关系型数据的q移配置

以一个从 MySQL ?TDengine 3.0 版本的数据迁UMQ务ؓ例,配置文g mysql2tdengine.json 如下Q?/p>

 {
   "job": {
     "content": [{
       "reader": {
         "name": "mysqlreader",
         "parameter": {
           "username": "root",
           "password": "root",
           "column": ["id","name"],
           "splitPk": "id",
           "connection": [{
             "table": ["test"],
             "jdbcUrl": ["jdbc:mysql://192.168.1.101:3306/db"]
           }]
         }
       },
       "writer": {
         "name": "tdengine30writer",
         "parameter": {
           "host": "192.168.1.105",
           "port": 6030,
           "dbname": "test",
           "user": "root",
           "password": "taosdata",
           "batchSize": 1000
         }
       }
     }],
     "setting": {
       "speed": {
         "channel": 1
       }
     }
   }
 } 

配置说明Q?/p>

  • 上面的配|表C,?192.168.1.101 ?MySQLQ到 192.168.1.105 ?TDengine 的迁UR迁U?test 表中 id、name 两列?TDengineQ?id 列作ZQ务划分的列?/li>
  • reader 使用 datax ?mysqlreaderQparameter 的配|请参考:mysqlreader.md

{   "job": {     "content": [{       "reader": {         "name": "tdengine30reader",         "parameter": {           "host": "192.168.1.82",           "port": 6030,           "db": "test",           "user": "root",           "password": "taosdata",           "sql": "select * from weather",           "beginDateTime": "2021-01-01 00:00:00",           "endDateTime": "2021-01-02 00:00:00",           "splitInterval": "1h"         }       },       "writer": {         "name": "tdengine30writer",         "parameter": {           "host": "192.168.1.105",?           "port": 6030,           "dbname": "test",           "user": "root",           "password": "taosdata",           "batchSize": 1000         }       }     }],     "setting": {       "speed": {         "channel": 1       }     }   } }

配置说明Q?/p>

  • 上面的配|表C,?192.168.1.82 ?192.168.1.105 ?TDengine 之间的数据迁URtdenginereader Ҏ sql、begieDateTime、endDateTime qo数据Q?splitInteval q行d划分?/li>
  • reader 使用 tdengine30readerQparameter 的配|请参考:tdengine30reader.md#配置参数

3.4 执行q移d

上面写好的配置文g保存?datax/job 目录下,执行下面的命令,启动数据q移dQ?/p>

python bin/datax.py job/opentsdb2tdengine.json

4、限制条?/h2>

Q?Q目前,DataX 自带?opentsdbreader 仅支?OpenTSDB-2.3.X 版本。详l参考:opentsdbreader#U束限制

Q?Q数据迁Ud具依?TDengine 客户端中?libtaos.so/taos.dll/libtaos.dylibQ需要与服务端对应版本的 TDengine-client?/p>

5、FAQ

Q?Q如何估一个数据迁UMQ务所需要的资源

DataX 的每?reader 按照自己?task 切分{略q行d划分Q具体请参?DataX 的Q务调度规则。在估算资源是,需要按照数据迁Uȝ数据量,d切分规则和网l带宽限制等l合考虑Q最好以实际数据q移试l果为准?/p>

Q?QTDengine30Writer ?batchSize 讄多大效率最高?

batchSize 是控制批量写入的参数Q在获取 batchSize 行纪录后QTDengineWriter 会向 TDengine 发送一ơ写入请求,q减了?TDengine 交互ơ数Q从而提高了性能。从试l果来看QbatchSize ?500-1000 范围内效率最高?/p>

Q?Qjob 的配|中 channel Cؓ多少合适?

job 中的 channel Cؓ量控制的参敎ͼ每个 channel 都需要开辟一块内存,用来~存数据。如?channel 讄q大Q会引v OOMQ所?channel 数ƈ不是大好。增?channel 数后Q需要提?JVM 内存大小。从试l果来看Qchannel ?1? 的范围内都是合适,能够保证 DataX 的流量最大化卛_?/p>

Q?Qjava.sql.SQLException: TDengine ERROR (8000060b): Invalid client value

配置文g?column 中没有配|?tbnameQ此时会触发行协议数据写入(行协议写入只会自动创建子表名Q但需要提前创建好表)Q行协议写入的情况下不支?TAG 数据cd为非 NCHARQ所以此U情冉|两种解决ҎQ?.?TAG 全部修改?NCHAR cdQ?.?Column 中配|好表名U这样不会触发行协议写入?/p>

Q?Qjava.sql.SQLException: TDengine ERROR (8000060b): Timestamp data out of range

配置文g?column 中没有配|?tbnameQ此时会触发行协议数据写入,?TAG 全部?NCHAR cdQ此旉要保证时间戳的一列名UCؓ _tsQ而不能是其他名称Q行协议写入下,默认最后的旉戛_入到 _ts 一列,且不能随意命名)。若想避免请使用 tbname 指定表名以避免触发行协议写入?/p> ]]> OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <atom:link href="//www.yakult-sh.com.cn/opentsdb/feed" rel="self" type="application/rss+xml" /> <link>//www.yakult-sh.com.cn</link> <description>TDengine | 楂樻€ц兘銆佸垎甯冨紡銆佹敮鎸丼QL鐨勬椂搴忔暟鎹簱 | 娑涙€濇暟鎹?/description> <lastBuildDate>Tue, 22 Oct 2024 00:12:22 +0000</lastBuildDate> <language>zh-Hans</language> <sy:updatePeriod> hourly </sy:updatePeriod> <sy:updateFrequency> 1 </sy:updateFrequency> <generator>//wordpress.org/?v=6.8.2</generator> <image> <url>//www.yakult-sh.com.cn/wp-content/uploads/2025/07/favicon.ico</url> <title>OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <link>//www.yakult-sh.com.cn</link> <width>32</width> <height>32</height> </image> <item> <title>TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?/title> <link>//www.yakult-sh.com.cn/tdengine-engineering/16710.html</link> <dc:creator><![CDATA[Haojun Liao]]></dc:creator> <pubDate>Thu, 23 Feb 2023 09:05:07 +0000</pubDate> <category><![CDATA[鎶€鏈枃绔?- 鏃跺簭鏁版嵁搴揮]></category> <category><![CDATA[InfluxDB闆嗙兢]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[鏃堕棿搴忓垪鏁版嵁]]></category> <category><![CDATA[绮鹃€塢]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=16710</guid> <description><![CDATA[涓轰簡瀹㈣銆佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢燭SBS锛圱ime Series Benchmark Suite锛変綔涓哄熀鍑嗘€ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆俔]></description> <content:encoded><![CDATA[ <p>2022 骞?8 鏈堟垜浠湪 TDengine 寮€鍙戣€呭ぇ浼氫笂姝e紡鍙戝竷浜?TDengine 3.0锛孴Dengine 涔熺敱姝ゅ崌绾ф垚涓轰簡涓€娆句簯鍘熺敓<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="鏃跺簭鏁版嵁搴? target="_blank" rel="noopener">鏃跺簭鏁版嵁搴?/a>锛圱ime Series Database锛?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>锛夈€備负浜嗗瑙傘€佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢?strong>TSBS锛圱ime Series Benchmark Suite锛?/strong>浣滀负鍩哄噯鎬ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆?/p> <p>TSBS 鏄竴涓椂搴忔暟鎹鐞嗭紙鏁版嵁搴擄級绯荤粺鐨勬€ц兘鍩哄噯娴嬭瘯骞冲彴锛屾彁渚涗簡 IoT銆丏evOps 涓や釜鍏稿瀷搴旂敤鍦烘櫙锛屽畠鐢?Timescale 寮€婧愬苟璐熻矗缁存姢銆備綔涓轰竴涓€ц兘鍩哄噯娴嬭瘯骞冲彴锛孴SBS 鍏锋湁渚挎嵎銆佹槗鐢ㄣ€佹墿灞曠伒娲荤瓑鐗圭偣锛屾兜鐩栦簡鏃跺簭鏁版嵁鐨勭敓鎴愩€佸啓鍏ワ紙鍔犺浇锛夈€佸绉嶇被鍒殑鍏稿瀷鏌ヨ绛夊姛鑳斤紝骞惰兘澶熻嚜鍔ㄦ眹鎬绘渶缁堢粨鏋溿€傜敱浜庡叾寮€鏀惧紑婧愮殑鐗圭偣锛屽緱鍒颁簡浼楀鏁版嵁搴撳巶鍟嗙殑鏀寔锛屼綔涓轰笓涓氱殑浜у搧鎬ц兘鍩哄噯娴嬭瘯骞冲彴琚嫢骞叉暟鎹簱鍘傚晢骞挎硾浣跨敤銆?/p> <p>浠ヤ笅鐨勬€ц兘鍩哄噯鎶ュ憡鍧囦娇鐢ㄤ簡 TSBS 浣滀负鍩虹 Benchmark 骞冲彴锛屾垜浠粠鏃堕棿璺ㄥ害鍜屽彂甯冨巶鍟嗙殑鐭ュ悕搴﹀悓鏃舵潵鐪嬶紝灏辫兘鍙戠幇锛屽熀纭€娴嬭瘯骞冲彴 TSBS 宸茬粡鍏峰浜嗗緢楂樼殑璁ゅ彲搴︼細</p> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p><strong>2018 骞?11 鏈?/strong><br>VictoriaMetrics 鐨勫垱濮嬩汉 Aliaksandr Valialkin 鍙戝竷 銆奌igh-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB銆嬶紝灏?VictoriaMetrics 涓?TimescaleDB銆両nfluxDB 杩涜鎬ц兘瀵规瘮銆?br><br><strong>2018 骞?11 鏈?/strong><br>鏂囩珷銆奀lickHouse Crushing Time Series銆嬩腑瀵规瘮浜?TimescaleDB, InfluxDB, ClickHouse 鍦ㄦ椂搴忔暟鎹満鏅笅鐨勬€ц兘銆?br><br><strong>2020 骞?3 鏈?/strong><br>Cloudera 鍦ㄧ綉绔欏崥瀹腑鍙戝竷銆夿enchmarking Time Series workloads on Apache Kudu using TSBS銆嬶紝鍦?DevOps鍦烘櫙 涓姣斾簡 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 绛夋暣浣撴€ц兘琛ㄧ幇銆?br><br><strong>2020 骞?3 鏈?/strong><br>Redis 鍙戝竷浜嗗熀浜?TSBS 鐨勬€ц兘鎶ュ憡銆奟edisTimeSeries Version 1.2 Benchmarks銆嬨€?br><br><strong>2020 骞?8 鏈?/strong><br>Timescale 鍦ㄥ叾瀹樻柟鍗氬鍙戝竷浜嗘€ц兘瀵规瘮鎶ュ憡銆奣imescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data銆嬨€?br><br><strong>2021 骞?8 鏈?/strong><br>QuestDB 鍙戝竷浜?QuestDB 涓?TimescaleDB 鐨勬€ц兘瀵规瘮鎶ュ憡鈥斺€斻€奞uestDB vs. TimescaleDB銆嬨€?/p> </blockquote> <p>DevOps 鍦烘櫙鏄竴涓吀鍨嬬殑鏃跺簭鏁版嵁搴旂敤鍦烘櫙锛孴SBS DevOps 鍦烘櫙鎻愪緵浜?CPU 鐘舵€佺殑妯℃嫙鏁版嵁锛岄拡瀵规瘡涓澶囷紙CPU锛夎褰曞叾 10 涓祴閲忓€硷紙metric锛夛紝1 涓椂闂存埑锛堢撼绉掑垎杈ㄧ巼锛夛紝10 涓爣绛惧€硷紙tag锛夈€傜敓鎴愮殑鏁版嵁姣?10 绉掗棿闅斾竴鏉¤褰曪紝鍏蜂綋鐨勫唴瀹瑰拰绀轰緥鏁版嵁濡備笅锛?/p> <div class="wp-block-image"> <figure class="aligncenter size-large"><img fetchpriority="high" decoding="async" width="1024" height="159" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png" alt="TDengine Database" class="wp-image-16423" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-300x46.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-768x119.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12.png 1246w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure></div> <p>TSBS 娴嬭瘯鍙互绠€鍗曞垝鍒嗕负涓や釜涓昏閮ㄥ垎鈥斺€旀暟鎹啓鍏ュ拰鏁版嵁鏌ヨ銆傚湪鏈鏁翠釜鍩哄噯鎬ц兘璇勪及涓紝鍏辨秹鍙婁互涓嬩簲涓満鏅紝姣忎釜鍦烘櫙鐨勫叿浣撴暟鎹妯″拰鐗圭偣瑙佷笅琛細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16712" width="768" height="180" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-300x70.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-768x180.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1536x361.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-2048x481.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>閫氳繃涓婅〃鍙互鐪嬪埌锛屼簲涓満鏅殑鍖哄埆涓昏鍦ㄤ簬鏁版嵁闆嗘墍鍖呭惈鐨勮澶囪褰曟暟閲忋€佽澶囨暟鐨勪笉鍚岋紝鏁版嵁鏃堕棿闂撮殧鍧囩淮鎸佸湪 10 sec銆傛暣浣撴潵鐪嬶紝浜斾釜鍦烘櫙鐨勬暟鎹妯¢兘涓嶇畻澶э紝鏁版嵁瑙勬ā鏈€澶х殑鏄満鏅簲锛屾暟鎹揪鍒颁簡 1.8 浜匡紝鏁版嵁瑙勬ā鏈€灏忕殑鏄満鏅竴锛屽彧鏈?2678 涓囨潯璁板綍銆傚湪鍦烘櫙鍥涘拰鍦烘櫙浜斾腑锛岀敱浜庤澶囨暟閲忕浉瀵硅緝澶氾紝鎵€浠ユ暟鎹泦浠呰鐩栦簡 3 鍒嗛挓鐨勬椂闂磋法搴︺€?/p> <p>涓轰簡淇濊瘉娴嬭瘯缁撴灉鐨勫叕姝e彲闈犲強鍙鍒舵€э紝鎴戜滑閫夌敤浜嗗叕鍏?IaaS 骞冲彴鏉ユ惌寤?Benchmark 鍩虹纭欢鐜锛岄噰鐢ㄤ簡澶у鏁版€ц兘瀵规瘮鎶ュ憡涓娇鐢ㄧ殑鍦烘櫙鈥斺€斾簹椹€?EC2 鏈嶅姟鐜涓?r4.8xlarge 绫诲瀷鐨勫疄渚嬩綔涓哄熀纭€杩愯骞冲彴锛屽尯鍩熶负鍖楃編鍦板尯锛屽寘鎷?1 鍙版湇鍔″櫒銆? 鍙板鎴风銆傚鎴风涓庢湇鍔″櫒纭欢閰嶇疆瀹屽叏鐩稿悓锛屼袱鑰呬娇鐢?10 Gbps 缃戠粶杩炴帴銆傞厤缃畝琛ㄥ涓嬶細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16713" width="768" height="86" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-300x33.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-768x86.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1536x172.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-2048x229.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>鏈娴嬭瘯鐨勫姣旇蒋浠朵负 InfluxDB 1.8.10 鍙?Timescale 2.6.0锛屽湪杩欓噷瑕佺潃閲嶈鏄庝竴涓嬶紝鐢变簬 InfluxDB 鏈€鏂扮殑 2.0 鐗堟湰骞舵病鏈夌撼鍏?TSBS 鐨勪富骞插垎鏀紝鍥犳鍦ㄨ繖娆℃祴璇曚腑鎴戜滑鏆備笖浣跨敤浜?TSBS 涓诲共鍒嗘敮鎵€鏀寔鐨?InfluxDB 鏈€鏂扮増鏈紝鍗?1.8.10銆?/p> <p>鏁翠釜 TSBS 娴嬭瘯娴佺▼鐩稿姣旇緝绠€鍗曪紝鍦ㄨ繘琛屽啓鍏ユ€ц兘瀵规瘮鏃讹紝閰嶇疆瀹屾垚鍙傛暟鍚庣洿鎺ヨ繍琛?TSBS 妗嗘灦鑴氭湰锛岀瓑寰呯粨鏋滆緭鍑哄嵆鍙€傚浜庢煡璇㈠鐞嗭紝鎴戜滑閫夋嫨浜嗘壒閲忚嚜鍔ㄥ寲鍘昏繍琛岋紝瀵规瘡涓煡璇㈣鍙ヨ繍琛?5000 娆★紝缁熻鏌ヨ寤惰繜鐨勭畻鏁板钩鍧囦綔涓烘渶鍚庣殑鏌ヨ寤惰繜缁撴灉銆傛澶栨垜浠繕鍏ㄧ▼鐩戞帶骞惰褰曚簡鏁翠釜杩囩▼涓湇鍔″櫒涓庡鎴风鑺傜偣鐨勭郴缁熻祫婧愬紑閿€涓庤礋杞芥儏鍐点€?/p> <p>涓嬮潰鍙互绠€鍗曚负澶у浠嬬粛涓嬫湰娆℃祴璇曠粨鏋溿€傚涓嬭〃鎵€绀猴紝鍦ㄥ叏閮ㄤ簲涓満鏅腑锛孴Dengine 鍐欏叆鎬ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽啓鍏ヨ繃绋嬩腑璧勬簮鍗犵敤鏈€浣庛€傚姣?InfluxDB锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 1000 涓囪澶囦笅锛岃揪鍒颁簡 InfluxDB 鐨劼?strong>10.6 鍊?/strong>锛涘姣?TimescaleDB 锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 4000 涓澶囦笅锛岃揪鍒颁簡 TimeScaleDB 鐨劼?strong>6.7 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16714" width="768" height="164" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-300x64.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-768x164.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1536x329.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-2048x438.png 2048w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>鍦ㄦ煡璇㈡祴璇曚笂锛屾垜浠皢鍏跺垎涓?5 澶х被銆?5 灏忕被杩涜鏌ヨ瀵规瘮锛屼粠涓嬪浘缁撴灉姹囨€讳腑鍙互鐪嬪埌锛屽湪鍏ㄩ儴 15 涓煡璇㈢被鍨嬩腑锛孴Dengine 鐨勬€ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽苟涓斿畠鐨勬墍鏈夋煡璇㈠欢杩熷潎姣?InfluxDB 鍜?TimescaleDB 鏇翠綆銆備寒鐐规暟鎹箣涓€浣撶幇鍦?Double Rollups 鏌ヨ绫诲瀷瀵规瘮涓紝TDengine 鏈€澶ц揪鍒?InfluxDB 鐨劼?strong>34 鍊?/strong>锛孴imescaleDB 鐨劼?strong>24 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16716" width="768" height="405" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-300x158.jpg 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-768x405.jpg 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17.jpg 1080w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>浠ヤ笂灏辨槸 TDengine 鍩轰簬 TSBS 娴嬭瘯鎶ュ憡鐨勬祴璇曡儗鏅粙缁嶏紝濡傛灉浣犲娴嬭瘯缁撴灉鎰熷叴瓒o紝娆㈣繋鏌ラ槄<a href="//www.yakult-sh.com.cn/performance-comparison-influxdb-and-timescaledb-vs-tdengine">鏁翠綋鎶ュ憡</a>銆?/p> ]]></content:encoded> </item> <item> <title>鍩轰簬 DataX 鐨?TDengine 3.0 鐗堟湰鏁版嵁杩佺Щ宸ュ叿 //www.yakult-sh.com.cn/time-series-database/17479.html Fri, 10 Feb 2023 08:59:20 +0000 //www.yakult-sh.com.cn/?p=17479 TDengine 是一Ƒּ源、云原生?a href="//www.yakult-sh.com.cn/" target="_blank" rel="noreferrer noopener">时序数据?/a>QTime Series Database,TSDBQ,专ؓ物联|、工业互联网、金融、IT q维监控{场景设计ƈ优化。它能让大量讑֤、数据采集器每天产生的高?TB 甚至 PB U的数据得到高效实时的处理,对业务的q行状态进行实时的监测、预警,从大数据中挖掘出商业价倹{?/p>

TDengine 通过Ҏ?SQL 命o、常?a href="//www.yakult-sh.com.cn/" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/" rel="noreferrer noopener">实时数据?/a>q接器标准(例如 JDBCQ、ORM 以及其他行时序数据库写入协议(例如 InfluxDB Line Protocol、OpenTSDB JSON、OpenTSDB Telnet {)的支持可以 TDengine 非常Ҏ和第三方工具共同使用?/p>

对于支持的第三方工具Q无需M代码Q你只需要做单的配置Q就可以?TDengine 与第三方工具无缝集成h?/p>

Grafana? class=TDengine

Grafana 是一个开源的数据可视化和监控q_Q它可以与多U数据源无缝集成Q提供强大的囑Ş展示、告警、注释等功能。Grafana 是目前最行的时序数据可视化工具之一Q它可以帮助用户快速构建美观且实用的A表盘?/p>

TDengine 能够与开源数据可视化pȝ Grafana 快速集成搭建数据监报警系l,整个q程无需M代码开发,TDengine 中数据表的内容可以在仪表?DashBoard)上进行可视化展现。关?TDengine 插g的用您可以?GitHub 中了解更多?/p>

具体的安装和使用步骤Q请参?a href="//grafana.com/grafana/plugins/tdengine-datasource/" rel="nofollow noopener" target="_blank">q里?/p>

Google Data Studio? class=TDengine

Google Data Studio 是一个免费的在线数据可视化和报告q_Q它可以与多U?Google 产品和第三方服务无缝集成Q提供强大的数据转换、图形展C、协作共享等功能。Google Data Studio 是一个适合于商业智能和分析场景的工P它可以帮助用户快速构Z业且交互式的报表?/p>

Data Studio 可以支持多种数据来源Q除了诸?Google Analytics、Google AdWords、Search Console、BigQuery {?Google 自己的服务之外,用户也可以直接将ȝ文g上传?Google Cloud StorageQ或是通过q接器来接入其它数据源?/p>

目前 TDengine q接器已l发布到 Google Data Studio 应用商店Q你可以?“Connect to Data?面下直接搜?TDengineQ将光作数据源?/p>

具体使用步骤Q请参?a href="//docs.yakult-sh.com.cn/third-party/google-data-studio/" rel="nofollow noopener" target="_blank">q里?/p>

Intel Ell? class=TDengine

Intel Ell是一个开源的边缘计算q_Q它可以让用户在边缘讑֤上运行高性能的机器学习模型,实现实时的数据分析和决策。Intel Ell可以与多U边~设备无~集成,提供强大的数据采集、模型训l、模型部|等功能。Intel Ell是一个适合于边~计和机器学习场景的工P它可以帮助用h高边~设备的化水q?/p>

时序数据处理?EII 中的重要模块。之前,EII 使用的时序数据库?InfluxDB。跟 InfluxDB 相比QTDengine 在性能和压~率斚w都有非常明显的优ѝ具体对比可以参考相x试报告:?a href="//www.yakult-sh.com.cn/performance-comparison-influxdb-and-timescaledb-vs-tdengine?utm_source=button&utm_medium=web&utm_term=tsbs">Z TSBS 标准数据集的 TimescaleDB、InfluxDB ?TDengine 的性能Ҏ试》。因此,涛思数据的工程师尝试将 TDengine 引入?EIIQ时序数据能够保存在这ƾ更为高效的时序数据库中Q提升处理效率ƈ降低成本?/p>

感兴的读者可以参?Intel |站上的相关文档来?EII + TDengine。读者可以参照该文档Q构q Docker 镜像。运?EII 之后Q可以?Telegraf 来采集时序数据,其保存?TDengine 之中Q然后可以用 Grafana 以图形化方式查看?/p>

DataX? class=TDengine

DataX 是一个开源的数据同步q_Q它可以让用户在不同的数据源之间q行高效的数据传输,实现数据的迁Ud备䆾。DataX 可以与多U关pd数据库、非关系型数据库、文件系l等无缝集成Q提供强大的数据d、写入、{换等功能。DataX 是一个适合于数据同步和q移场景的工P它可以帮助用户实现数据的一致性和可靠性?/p>

Z DataX 的设计思\Q我们的研发团队完成?TDengine 的适配Q实C TDengineReader ?TDengineWriter 两个插gQƈ?DataX 官方接受Q合q到了其d中?/p>

现在Q如果用戯历?DatabaseQ比?MySQL、OpenTSDB {)中的数据q移?TDengineQ或者将 TDengine 中的数据导出Q就可以利用 DataX 来实C?/p>

具体使用步骤参?a href="//www.yakult-sh.com.cn/engineering/3156.html">q里?/p>

ȝ

通过以上的介l,您应该对 TDengine 与第三方工具的集成方案有了一个初步的了解?/p>

如果您想了解更多关于TDengine可视化方案,h?a href="//docs.yakult-sh.com.cn/third-party/" rel="nofollow noopener" target="_blank">文档?/p> ]]> OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <atom:link href="//www.yakult-sh.com.cn/opentsdb/feed" rel="self" type="application/rss+xml" /> <link>//www.yakult-sh.com.cn</link> <description>TDengine | 楂樻€ц兘銆佸垎甯冨紡銆佹敮鎸丼QL鐨勬椂搴忔暟鎹簱 | 娑涙€濇暟鎹?/description> <lastBuildDate>Tue, 22 Oct 2024 00:12:22 +0000</lastBuildDate> <language>zh-Hans</language> <sy:updatePeriod> hourly </sy:updatePeriod> <sy:updateFrequency> 1 </sy:updateFrequency> <generator>//wordpress.org/?v=6.8.2</generator> <image> <url>//www.yakult-sh.com.cn/wp-content/uploads/2025/07/favicon.ico</url> <title>OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <link>//www.yakult-sh.com.cn</link> <width>32</width> <height>32</height> </image> <item> <title>TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?/title> <link>//www.yakult-sh.com.cn/tdengine-engineering/16710.html</link> <dc:creator><![CDATA[Haojun Liao]]></dc:creator> <pubDate>Thu, 23 Feb 2023 09:05:07 +0000</pubDate> <category><![CDATA[鎶€鏈枃绔?- 鏃跺簭鏁版嵁搴揮]></category> <category><![CDATA[InfluxDB闆嗙兢]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[鏃堕棿搴忓垪鏁版嵁]]></category> <category><![CDATA[绮鹃€塢]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=16710</guid> <description><![CDATA[涓轰簡瀹㈣銆佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢燭SBS锛圱ime Series Benchmark Suite锛変綔涓哄熀鍑嗘€ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆俔]></description> <content:encoded><![CDATA[ <p>2022 骞?8 鏈堟垜浠湪 TDengine 寮€鍙戣€呭ぇ浼氫笂姝e紡鍙戝竷浜?TDengine 3.0锛孴Dengine 涔熺敱姝ゅ崌绾ф垚涓轰簡涓€娆句簯鍘熺敓<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="鏃跺簭鏁版嵁搴? target="_blank" rel="noopener">鏃跺簭鏁版嵁搴?/a>锛圱ime Series Database锛?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>锛夈€備负浜嗗瑙傘€佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢?strong>TSBS锛圱ime Series Benchmark Suite锛?/strong>浣滀负鍩哄噯鎬ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆?/p> <p>TSBS 鏄竴涓椂搴忔暟鎹鐞嗭紙鏁版嵁搴擄級绯荤粺鐨勬€ц兘鍩哄噯娴嬭瘯骞冲彴锛屾彁渚涗簡 IoT銆丏evOps 涓や釜鍏稿瀷搴旂敤鍦烘櫙锛屽畠鐢?Timescale 寮€婧愬苟璐熻矗缁存姢銆備綔涓轰竴涓€ц兘鍩哄噯娴嬭瘯骞冲彴锛孴SBS 鍏锋湁渚挎嵎銆佹槗鐢ㄣ€佹墿灞曠伒娲荤瓑鐗圭偣锛屾兜鐩栦簡鏃跺簭鏁版嵁鐨勭敓鎴愩€佸啓鍏ワ紙鍔犺浇锛夈€佸绉嶇被鍒殑鍏稿瀷鏌ヨ绛夊姛鑳斤紝骞惰兘澶熻嚜鍔ㄦ眹鎬绘渶缁堢粨鏋溿€傜敱浜庡叾寮€鏀惧紑婧愮殑鐗圭偣锛屽緱鍒颁簡浼楀鏁版嵁搴撳巶鍟嗙殑鏀寔锛屼綔涓轰笓涓氱殑浜у搧鎬ц兘鍩哄噯娴嬭瘯骞冲彴琚嫢骞叉暟鎹簱鍘傚晢骞挎硾浣跨敤銆?/p> <p>浠ヤ笅鐨勬€ц兘鍩哄噯鎶ュ憡鍧囦娇鐢ㄤ簡 TSBS 浣滀负鍩虹 Benchmark 骞冲彴锛屾垜浠粠鏃堕棿璺ㄥ害鍜屽彂甯冨巶鍟嗙殑鐭ュ悕搴﹀悓鏃舵潵鐪嬶紝灏辫兘鍙戠幇锛屽熀纭€娴嬭瘯骞冲彴 TSBS 宸茬粡鍏峰浜嗗緢楂樼殑璁ゅ彲搴︼細</p> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p><strong>2018 骞?11 鏈?/strong><br>VictoriaMetrics 鐨勫垱濮嬩汉 Aliaksandr Valialkin 鍙戝竷 銆奌igh-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB銆嬶紝灏?VictoriaMetrics 涓?TimescaleDB銆両nfluxDB 杩涜鎬ц兘瀵规瘮銆?br><br><strong>2018 骞?11 鏈?/strong><br>鏂囩珷銆奀lickHouse Crushing Time Series銆嬩腑瀵规瘮浜?TimescaleDB, InfluxDB, ClickHouse 鍦ㄦ椂搴忔暟鎹満鏅笅鐨勬€ц兘銆?br><br><strong>2020 骞?3 鏈?/strong><br>Cloudera 鍦ㄧ綉绔欏崥瀹腑鍙戝竷銆夿enchmarking Time Series workloads on Apache Kudu using TSBS銆嬶紝鍦?DevOps鍦烘櫙 涓姣斾簡 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 绛夋暣浣撴€ц兘琛ㄧ幇銆?br><br><strong>2020 骞?3 鏈?/strong><br>Redis 鍙戝竷浜嗗熀浜?TSBS 鐨勬€ц兘鎶ュ憡銆奟edisTimeSeries Version 1.2 Benchmarks銆嬨€?br><br><strong>2020 骞?8 鏈?/strong><br>Timescale 鍦ㄥ叾瀹樻柟鍗氬鍙戝竷浜嗘€ц兘瀵规瘮鎶ュ憡銆奣imescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data銆嬨€?br><br><strong>2021 骞?8 鏈?/strong><br>QuestDB 鍙戝竷浜?QuestDB 涓?TimescaleDB 鐨勬€ц兘瀵规瘮鎶ュ憡鈥斺€斻€奞uestDB vs. TimescaleDB銆嬨€?/p> </blockquote> <p>DevOps 鍦烘櫙鏄竴涓吀鍨嬬殑鏃跺簭鏁版嵁搴旂敤鍦烘櫙锛孴SBS DevOps 鍦烘櫙鎻愪緵浜?CPU 鐘舵€佺殑妯℃嫙鏁版嵁锛岄拡瀵规瘡涓澶囷紙CPU锛夎褰曞叾 10 涓祴閲忓€硷紙metric锛夛紝1 涓椂闂存埑锛堢撼绉掑垎杈ㄧ巼锛夛紝10 涓爣绛惧€硷紙tag锛夈€傜敓鎴愮殑鏁版嵁姣?10 绉掗棿闅斾竴鏉¤褰曪紝鍏蜂綋鐨勫唴瀹瑰拰绀轰緥鏁版嵁濡備笅锛?/p> <div class="wp-block-image"> <figure class="aligncenter size-large"><img fetchpriority="high" decoding="async" width="1024" height="159" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png" alt="TDengine Database" class="wp-image-16423" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-300x46.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-768x119.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12.png 1246w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure></div> <p>TSBS 娴嬭瘯鍙互绠€鍗曞垝鍒嗕负涓や釜涓昏閮ㄥ垎鈥斺€旀暟鎹啓鍏ュ拰鏁版嵁鏌ヨ銆傚湪鏈鏁翠釜鍩哄噯鎬ц兘璇勪及涓紝鍏辨秹鍙婁互涓嬩簲涓満鏅紝姣忎釜鍦烘櫙鐨勫叿浣撴暟鎹妯″拰鐗圭偣瑙佷笅琛細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16712" width="768" height="180" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-300x70.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-768x180.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1536x361.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-2048x481.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>閫氳繃涓婅〃鍙互鐪嬪埌锛屼簲涓満鏅殑鍖哄埆涓昏鍦ㄤ簬鏁版嵁闆嗘墍鍖呭惈鐨勮澶囪褰曟暟閲忋€佽澶囨暟鐨勪笉鍚岋紝鏁版嵁鏃堕棿闂撮殧鍧囩淮鎸佸湪 10 sec銆傛暣浣撴潵鐪嬶紝浜斾釜鍦烘櫙鐨勬暟鎹妯¢兘涓嶇畻澶э紝鏁版嵁瑙勬ā鏈€澶х殑鏄満鏅簲锛屾暟鎹揪鍒颁簡 1.8 浜匡紝鏁版嵁瑙勬ā鏈€灏忕殑鏄満鏅竴锛屽彧鏈?2678 涓囨潯璁板綍銆傚湪鍦烘櫙鍥涘拰鍦烘櫙浜斾腑锛岀敱浜庤澶囨暟閲忕浉瀵硅緝澶氾紝鎵€浠ユ暟鎹泦浠呰鐩栦簡 3 鍒嗛挓鐨勬椂闂磋法搴︺€?/p> <p>涓轰簡淇濊瘉娴嬭瘯缁撴灉鐨勫叕姝e彲闈犲強鍙鍒舵€э紝鎴戜滑閫夌敤浜嗗叕鍏?IaaS 骞冲彴鏉ユ惌寤?Benchmark 鍩虹纭欢鐜锛岄噰鐢ㄤ簡澶у鏁版€ц兘瀵规瘮鎶ュ憡涓娇鐢ㄧ殑鍦烘櫙鈥斺€斾簹椹€?EC2 鏈嶅姟鐜涓?r4.8xlarge 绫诲瀷鐨勫疄渚嬩綔涓哄熀纭€杩愯骞冲彴锛屽尯鍩熶负鍖楃編鍦板尯锛屽寘鎷?1 鍙版湇鍔″櫒銆? 鍙板鎴风銆傚鎴风涓庢湇鍔″櫒纭欢閰嶇疆瀹屽叏鐩稿悓锛屼袱鑰呬娇鐢?10 Gbps 缃戠粶杩炴帴銆傞厤缃畝琛ㄥ涓嬶細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16713" width="768" height="86" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-300x33.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-768x86.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1536x172.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-2048x229.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>鏈娴嬭瘯鐨勫姣旇蒋浠朵负 InfluxDB 1.8.10 鍙?Timescale 2.6.0锛屽湪杩欓噷瑕佺潃閲嶈鏄庝竴涓嬶紝鐢变簬 InfluxDB 鏈€鏂扮殑 2.0 鐗堟湰骞舵病鏈夌撼鍏?TSBS 鐨勪富骞插垎鏀紝鍥犳鍦ㄨ繖娆℃祴璇曚腑鎴戜滑鏆備笖浣跨敤浜?TSBS 涓诲共鍒嗘敮鎵€鏀寔鐨?InfluxDB 鏈€鏂扮増鏈紝鍗?1.8.10銆?/p> <p>鏁翠釜 TSBS 娴嬭瘯娴佺▼鐩稿姣旇緝绠€鍗曪紝鍦ㄨ繘琛屽啓鍏ユ€ц兘瀵规瘮鏃讹紝閰嶇疆瀹屾垚鍙傛暟鍚庣洿鎺ヨ繍琛?TSBS 妗嗘灦鑴氭湰锛岀瓑寰呯粨鏋滆緭鍑哄嵆鍙€傚浜庢煡璇㈠鐞嗭紝鎴戜滑閫夋嫨浜嗘壒閲忚嚜鍔ㄥ寲鍘昏繍琛岋紝瀵规瘡涓煡璇㈣鍙ヨ繍琛?5000 娆★紝缁熻鏌ヨ寤惰繜鐨勭畻鏁板钩鍧囦綔涓烘渶鍚庣殑鏌ヨ寤惰繜缁撴灉銆傛澶栨垜浠繕鍏ㄧ▼鐩戞帶骞惰褰曚簡鏁翠釜杩囩▼涓湇鍔″櫒涓庡鎴风鑺傜偣鐨勭郴缁熻祫婧愬紑閿€涓庤礋杞芥儏鍐点€?/p> <p>涓嬮潰鍙互绠€鍗曚负澶у浠嬬粛涓嬫湰娆℃祴璇曠粨鏋溿€傚涓嬭〃鎵€绀猴紝鍦ㄥ叏閮ㄤ簲涓満鏅腑锛孴Dengine 鍐欏叆鎬ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽啓鍏ヨ繃绋嬩腑璧勬簮鍗犵敤鏈€浣庛€傚姣?InfluxDB锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 1000 涓囪澶囦笅锛岃揪鍒颁簡 InfluxDB 鐨劼?strong>10.6 鍊?/strong>锛涘姣?TimescaleDB 锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 4000 涓澶囦笅锛岃揪鍒颁簡 TimeScaleDB 鐨劼?strong>6.7 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16714" width="768" height="164" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-300x64.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-768x164.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1536x329.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-2048x438.png 2048w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>鍦ㄦ煡璇㈡祴璇曚笂锛屾垜浠皢鍏跺垎涓?5 澶х被銆?5 灏忕被杩涜鏌ヨ瀵规瘮锛屼粠涓嬪浘缁撴灉姹囨€讳腑鍙互鐪嬪埌锛屽湪鍏ㄩ儴 15 涓煡璇㈢被鍨嬩腑锛孴Dengine 鐨勬€ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽苟涓斿畠鐨勬墍鏈夋煡璇㈠欢杩熷潎姣?InfluxDB 鍜?TimescaleDB 鏇翠綆銆備寒鐐规暟鎹箣涓€浣撶幇鍦?Double Rollups 鏌ヨ绫诲瀷瀵规瘮涓紝TDengine 鏈€澶ц揪鍒?InfluxDB 鐨劼?strong>34 鍊?/strong>锛孴imescaleDB 鐨劼?strong>24 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16716" width="768" height="405" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-300x158.jpg 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-768x405.jpg 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17.jpg 1080w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>浠ヤ笂灏辨槸 TDengine 鍩轰簬 TSBS 娴嬭瘯鎶ュ憡鐨勬祴璇曡儗鏅粙缁嶏紝濡傛灉浣犲娴嬭瘯缁撴灉鎰熷叴瓒o紝娆㈣繋鏌ラ槄<a href="//www.yakult-sh.com.cn/performance-comparison-influxdb-and-timescaledb-vs-tdengine">鏁翠綋鎶ュ憡</a>銆?/p> ]]></content:encoded> </item> <item> <title>鍩轰簬 DataX 鐨?TDengine 3.0 鐗堟湰鏁版嵁杩佺Щ宸ュ叿 //www.yakult-sh.com.cn/tdengine-user-cases/16052.html Thu, 02 Feb 2023 07:19:16 +0000 //www.yakult-sh.com.cn/?p=16052 煤矿行业具备产业规模大、分布地域广、安全性要求高{特点,而大部分煤矿pȝ都是独立q行的,Z实现各个pȝ数据的有效利用和深度融合Q以此达成预警、数据分析等目的Q煤矿行业亟需化赋能。在拥抱工业物联|、h工智能、大数据{新技术的同时Q其化发展道路也面着众多挑战Q?/p>

  • 一是设备管理层面的挑战Q随着自动化程度越来越高,讑֤复杂度和理隑ֺ也逐步增大Q如何保障设备安全可靠的q行Q提升设备的利用率,促进讑֤保值增g成了挑战之一Q?/li>
  • 二是安全生的挑战,安全是根本,如何通过数字化手D,h和物的不安全因素l一理好,提升整体煤矿企业安全生水^臛_重要?/li>

从以上挑战出发,一些煤矿企业已l开始进行数据架构{型实践,也取得了一些进展,值得一提的是,时序数据?/a>QTime Series DatabaseQ在其中发挥了重要作用。本文将q些案例q行了相x总,供读者参考?/p>

TDengine x 智慧矿山pȝ

“我们以智慧矿山业务中的 5000 讑֤、每?1000 万采集点的数据量U下Q在以R建模和以位置建模l合的数据模型下QTDengine 的性能q没有达到极限,目前pȝ对于车和位置的查询速度都在毫秒U。基于目前对 TDengine 的理解和使用l验Q我们计划在环保监测和生产集控设备场景中q一步用它来完善系l。?/p>

业务背景

元智信息的智慧矿山项目需要一?strong>实时数据?/a>来支撑v生交互控pȝ的采q排环节所有过E设备的采集、存储、计和监控功能。这些数据涵盖范围广Q包括挖机、卡车的采集数据、调度管理数据、设?GPS 信息、以及每一个固定位|工序的采集数据{。在 MySQL、InfluxDB集群版、TDengine 的时序数据库选型调研中,TDengine 脱颖而出Q点MҎ例查看具体原因)?/p>

架构?/h3>

TDengine x 陕煤矿山目

“最l落地时目采用?3 个节点的集群环境Q定位设备采用超U表q行理Q将数据标签及数据类型作?tag 区分各类定位讑֤。每个定位设备采用子表存储,实际目已包?2 万多个定位设备。从写入性能到查询性能均大q满现场实际需求:总计定位数据量超q?11 亿条Q数据压~后 TDengine 数据目录占用盘大约 12GBQ整体压~率可以辑ֈ 3/100。?/p>

业务背景

为打通煤矿生产环境中各类单一子系l之间的数据壁垒Q实现各cdpȝ数据之间的互联互通,陕煤开发团队打造了全矿井数字化q_。以位置数据ZQ由于初期系l容量较且g讑֤上传周期较大Q所以采用了传统?SQL Server 数据库来q行轨迹数据存储。随着后箋目q代Q硬件设备定位精度提高且上报周期~短Q也D数据库存储压力增大。考虑到数据类型及特点Q其军_使用时序数据库,?OpenTSDB、TDengine、InfluxDB 三款数据库中做选型调研?/p>

架构?/h3>
工业生环境下,如何打造全面有效的数字化监控? - TDengine Database 时序数据? class=
点击?a href="//mp.weixin.qq.com/s?__biz=MzUzNjEwNDQ2OA==&mid=2247486806&idx=1&sn=eb165cd77df42dfc8b1f647f41570c1e&chksm=fafa162dcd8d9f3b71b079a0658ad494fb69c87a0493b161a55e7b8a829e28be67a4cbf30ecd&scene=21#wechat_redirect" target="_blank" rel="noreferrer noopener nofollow">案例】查看更多技术细?/figcaption>

TDengine x 华夏天信露天煤矿

“对于每个电机,客户要求pȝ能够快速读取相兌备属性趋势图Q这是我们发?TDengine 最强大的地方:针对一?2 万条数据展示速度?200ms 内。之所?TDengine 对这cL询速度飞快Q主要是设计时按照设备分表后Q数据按块存储ƈ按块查出来,相对 Key-Value 型数据库节省很多d旉。?/p>

业务背景

华夏天信 RED-MOS 露天煤矿智慧矿山操作pȝQ在Ҏ某地面生产集控系l数据时Q接入的监控Ҏ量将q?1 ?5 千点Q其中接q?2300 炚w要绑定组态显C,x面更新Q整体数据采集到昄到前端要求秒U展C及大数据量展示Q历史数据回溯)Q可展示 30 天的全量数据Q点数量过 50 万条Q读取时间要求在 5~10 sQ这对底层的数据库提Z一个相当大的挑战?/p>

q种场景中,最大难Ҏ要处理的数据量太大,而不是关联关pd杂,因此 MySQL q类关系库的兌查询优势其实无法发挥Q?HBase q种大数据存储方案对于矿ql而言又太q庞大,且硬件资源要求很多,Z成本考虑也排除了。最l其选择?TDengineQ解决了最为头疼的历史数据回溯性能问题?/p>

效果展示

TDengine 能够满大数据量展示的需求——可展示 30 天的全量数据Q点数量过 50 万条Q读取时间要?5 U?/p>

工业生环境下,如何打造全面有效的数字化监控? - TDengine Database 时序数据? class=
点击?a href="//mp.weixin.qq.com/s?__biz=MzUzNjEwNDQ2OA==&mid=2247484143&idx=1&sn=d7d41330e9807bee6a9005dd82ad6014&chksm=fafa1994cd8d90826de111da1f30b9dcc3a1f690827d2c88a0bbd902acb49dbab12e184cc1bd&scene=21#wechat_redirect" target="_blank" rel="noreferrer noopener nofollow">案例】查看更多技术细?/figcaption>

l语

对于矿山生pȝ而言Q安全是W一位的Q基于此Q各个生产环节和场地都要q行全面、有效的数字化监控,q些监控数据的特点就是时序、结构化、简单但量大。作为时序数据库赛道中的重量U选手Q再从煤矿企业的实践效果出发QTDengine时序数据?TSDB)是为助力煤矿行业智能化发展而量w定做的数据库?/p> ]]> OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <atom:link href="//www.yakult-sh.com.cn/opentsdb/feed" rel="self" type="application/rss+xml" /> <link>//www.yakult-sh.com.cn</link> <description>TDengine | 楂樻€ц兘銆佸垎甯冨紡銆佹敮鎸丼QL鐨勬椂搴忔暟鎹簱 | 娑涙€濇暟鎹?/description> <lastBuildDate>Tue, 22 Oct 2024 00:12:22 +0000</lastBuildDate> <language>zh-Hans</language> <sy:updatePeriod> hourly </sy:updatePeriod> <sy:updateFrequency> 1 </sy:updateFrequency> <generator>//wordpress.org/?v=6.8.2</generator> <image> <url>//www.yakult-sh.com.cn/wp-content/uploads/2025/07/favicon.ico</url> <title>OpenTSDB – TDengine | 娑涙€濇暟鎹?/title> <link>//www.yakult-sh.com.cn</link> <width>32</width> <height>32</height> </image> <item> <title>TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?/title> <link>//www.yakult-sh.com.cn/tdengine-engineering/16710.html</link> <dc:creator><![CDATA[Haojun Liao]]></dc:creator> <pubDate>Thu, 23 Feb 2023 09:05:07 +0000</pubDate> <category><![CDATA[鎶€鏈枃绔?- 鏃跺簭鏁版嵁搴揮]></category> <category><![CDATA[InfluxDB闆嗙兢]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[鏃堕棿搴忓垪鏁版嵁]]></category> <category><![CDATA[绮鹃€塢]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=16710</guid> <description><![CDATA[涓轰簡瀹㈣銆佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢燭SBS锛圱ime Series Benchmark Suite锛変綔涓哄熀鍑嗘€ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆俔]></description> <content:encoded><![CDATA[ <p>2022 骞?8 鏈堟垜浠湪 TDengine 寮€鍙戣€呭ぇ浼氫笂姝e紡鍙戝竷浜?TDengine 3.0锛孴Dengine 涔熺敱姝ゅ崌绾ф垚涓轰簡涓€娆句簯鍘熺敓<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="鏃跺簭鏁版嵁搴? target="_blank" rel="noopener">鏃跺簭鏁版嵁搴?/a>锛圱ime Series Database锛?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>锛夈€備负浜嗗瑙傘€佸噯纭€佹湁鏁堝湴璇勪及 TDengine 3.0 鐨勬€ц兘鎸囨爣锛屾垜浠喅瀹氫娇鐢?strong>TSBS锛圱ime Series Benchmark Suite锛?/strong>浣滀负鍩哄噯鎬ц兘娴嬭瘯骞冲彴锛岄拡瀵?DevOps 鍦烘櫙鐨勬暟鎹泦瀵?TDengine 3.0 灞曞紑鏁翠綋锛堝寘鎷啓鍏ャ€佹煡璇€佸瓨鍌ㄣ€佽祫婧愭秷鑰楃瓑锛夋€ц兘璇勪及銆?/p> <p>TSBS 鏄竴涓椂搴忔暟鎹鐞嗭紙鏁版嵁搴擄級绯荤粺鐨勬€ц兘鍩哄噯娴嬭瘯骞冲彴锛屾彁渚涗簡 IoT銆丏evOps 涓や釜鍏稿瀷搴旂敤鍦烘櫙锛屽畠鐢?Timescale 寮€婧愬苟璐熻矗缁存姢銆備綔涓轰竴涓€ц兘鍩哄噯娴嬭瘯骞冲彴锛孴SBS 鍏锋湁渚挎嵎銆佹槗鐢ㄣ€佹墿灞曠伒娲荤瓑鐗圭偣锛屾兜鐩栦簡鏃跺簭鏁版嵁鐨勭敓鎴愩€佸啓鍏ワ紙鍔犺浇锛夈€佸绉嶇被鍒殑鍏稿瀷鏌ヨ绛夊姛鑳斤紝骞惰兘澶熻嚜鍔ㄦ眹鎬绘渶缁堢粨鏋溿€傜敱浜庡叾寮€鏀惧紑婧愮殑鐗圭偣锛屽緱鍒颁簡浼楀鏁版嵁搴撳巶鍟嗙殑鏀寔锛屼綔涓轰笓涓氱殑浜у搧鎬ц兘鍩哄噯娴嬭瘯骞冲彴琚嫢骞叉暟鎹簱鍘傚晢骞挎硾浣跨敤銆?/p> <p>浠ヤ笅鐨勬€ц兘鍩哄噯鎶ュ憡鍧囦娇鐢ㄤ簡 TSBS 浣滀负鍩虹 Benchmark 骞冲彴锛屾垜浠粠鏃堕棿璺ㄥ害鍜屽彂甯冨巶鍟嗙殑鐭ュ悕搴﹀悓鏃舵潵鐪嬶紝灏辫兘鍙戠幇锛屽熀纭€娴嬭瘯骞冲彴 TSBS 宸茬粡鍏峰浜嗗緢楂樼殑璁ゅ彲搴︼細</p> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p><strong>2018 骞?11 鏈?/strong><br>VictoriaMetrics 鐨勫垱濮嬩汉 Aliaksandr Valialkin 鍙戝竷 銆奌igh-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB銆嬶紝灏?VictoriaMetrics 涓?TimescaleDB銆両nfluxDB 杩涜鎬ц兘瀵规瘮銆?br><br><strong>2018 骞?11 鏈?/strong><br>鏂囩珷銆奀lickHouse Crushing Time Series銆嬩腑瀵规瘮浜?TimescaleDB, InfluxDB, ClickHouse 鍦ㄦ椂搴忔暟鎹満鏅笅鐨勬€ц兘銆?br><br><strong>2020 骞?3 鏈?/strong><br>Cloudera 鍦ㄧ綉绔欏崥瀹腑鍙戝竷銆夿enchmarking Time Series workloads on Apache Kudu using TSBS銆嬶紝鍦?DevOps鍦烘櫙 涓姣斾簡 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 绛夋暣浣撴€ц兘琛ㄧ幇銆?br><br><strong>2020 骞?3 鏈?/strong><br>Redis 鍙戝竷浜嗗熀浜?TSBS 鐨勬€ц兘鎶ュ憡銆奟edisTimeSeries Version 1.2 Benchmarks銆嬨€?br><br><strong>2020 骞?8 鏈?/strong><br>Timescale 鍦ㄥ叾瀹樻柟鍗氬鍙戝竷浜嗘€ц兘瀵规瘮鎶ュ憡銆奣imescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data銆嬨€?br><br><strong>2021 骞?8 鏈?/strong><br>QuestDB 鍙戝竷浜?QuestDB 涓?TimescaleDB 鐨勬€ц兘瀵规瘮鎶ュ憡鈥斺€斻€奞uestDB vs. TimescaleDB銆嬨€?/p> </blockquote> <p>DevOps 鍦烘櫙鏄竴涓吀鍨嬬殑鏃跺簭鏁版嵁搴旂敤鍦烘櫙锛孴SBS DevOps 鍦烘櫙鎻愪緵浜?CPU 鐘舵€佺殑妯℃嫙鏁版嵁锛岄拡瀵规瘡涓澶囷紙CPU锛夎褰曞叾 10 涓祴閲忓€硷紙metric锛夛紝1 涓椂闂存埑锛堢撼绉掑垎杈ㄧ巼锛夛紝10 涓爣绛惧€硷紙tag锛夈€傜敓鎴愮殑鏁版嵁姣?10 绉掗棿闅斾竴鏉¤褰曪紝鍏蜂綋鐨勫唴瀹瑰拰绀轰緥鏁版嵁濡備笅锛?/p> <div class="wp-block-image"> <figure class="aligncenter size-large"><img fetchpriority="high" decoding="async" width="1024" height="159" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png" alt="TDengine Database" class="wp-image-16423" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-1024x159.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-300x46.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12-768x119.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-12.png 1246w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure></div> <p>TSBS 娴嬭瘯鍙互绠€鍗曞垝鍒嗕负涓や釜涓昏閮ㄥ垎鈥斺€旀暟鎹啓鍏ュ拰鏁版嵁鏌ヨ銆傚湪鏈鏁翠釜鍩哄噯鎬ц兘璇勪及涓紝鍏辨秹鍙婁互涓嬩簲涓満鏅紝姣忎釜鍦烘櫙鐨勫叿浣撴暟鎹妯″拰鐗圭偣瑙佷笅琛細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16712" width="768" height="180" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1024x240.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-300x70.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-768x180.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-1536x361.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-13-2048x481.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>閫氳繃涓婅〃鍙互鐪嬪埌锛屼簲涓満鏅殑鍖哄埆涓昏鍦ㄤ簬鏁版嵁闆嗘墍鍖呭惈鐨勮澶囪褰曟暟閲忋€佽澶囨暟鐨勪笉鍚岋紝鏁版嵁鏃堕棿闂撮殧鍧囩淮鎸佸湪 10 sec銆傛暣浣撴潵鐪嬶紝浜斾釜鍦烘櫙鐨勬暟鎹妯¢兘涓嶇畻澶э紝鏁版嵁瑙勬ā鏈€澶х殑鏄満鏅簲锛屾暟鎹揪鍒颁簡 1.8 浜匡紝鏁版嵁瑙勬ā鏈€灏忕殑鏄満鏅竴锛屽彧鏈?2678 涓囨潯璁板綍銆傚湪鍦烘櫙鍥涘拰鍦烘櫙浜斾腑锛岀敱浜庤澶囨暟閲忕浉瀵硅緝澶氾紝鎵€浠ユ暟鎹泦浠呰鐩栦簡 3 鍒嗛挓鐨勬椂闂磋法搴︺€?/p> <p>涓轰簡淇濊瘉娴嬭瘯缁撴灉鐨勫叕姝e彲闈犲強鍙鍒舵€э紝鎴戜滑閫夌敤浜嗗叕鍏?IaaS 骞冲彴鏉ユ惌寤?Benchmark 鍩虹纭欢鐜锛岄噰鐢ㄤ簡澶у鏁版€ц兘瀵规瘮鎶ュ憡涓娇鐢ㄧ殑鍦烘櫙鈥斺€斾簹椹€?EC2 鏈嶅姟鐜涓?r4.8xlarge 绫诲瀷鐨勫疄渚嬩綔涓哄熀纭€杩愯骞冲彴锛屽尯鍩熶负鍖楃編鍦板尯锛屽寘鎷?1 鍙版湇鍔″櫒銆? 鍙板鎴风銆傚鎴风涓庢湇鍔″櫒纭欢閰嶇疆瀹屽叏鐩稿悓锛屼袱鑰呬娇鐢?10 Gbps 缃戠粶杩炴帴銆傞厤缃畝琛ㄥ涓嬶細</p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16713" width="768" height="86" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1024x114.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-300x33.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-768x86.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-1536x172.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-14-2048x229.png 2048w" sizes="(max-width: 768px) 100vw, 768px" /></figure></div> <p>鏈娴嬭瘯鐨勫姣旇蒋浠朵负 InfluxDB 1.8.10 鍙?Timescale 2.6.0锛屽湪杩欓噷瑕佺潃閲嶈鏄庝竴涓嬶紝鐢变簬 InfluxDB 鏈€鏂扮殑 2.0 鐗堟湰骞舵病鏈夌撼鍏?TSBS 鐨勪富骞插垎鏀紝鍥犳鍦ㄨ繖娆℃祴璇曚腑鎴戜滑鏆備笖浣跨敤浜?TSBS 涓诲共鍒嗘敮鎵€鏀寔鐨?InfluxDB 鏈€鏂扮増鏈紝鍗?1.8.10銆?/p> <p>鏁翠釜 TSBS 娴嬭瘯娴佺▼鐩稿姣旇緝绠€鍗曪紝鍦ㄨ繘琛屽啓鍏ユ€ц兘瀵规瘮鏃讹紝閰嶇疆瀹屾垚鍙傛暟鍚庣洿鎺ヨ繍琛?TSBS 妗嗘灦鑴氭湰锛岀瓑寰呯粨鏋滆緭鍑哄嵆鍙€傚浜庢煡璇㈠鐞嗭紝鎴戜滑閫夋嫨浜嗘壒閲忚嚜鍔ㄥ寲鍘昏繍琛岋紝瀵规瘡涓煡璇㈣鍙ヨ繍琛?5000 娆★紝缁熻鏌ヨ寤惰繜鐨勭畻鏁板钩鍧囦綔涓烘渶鍚庣殑鏌ヨ寤惰繜缁撴灉銆傛澶栨垜浠繕鍏ㄧ▼鐩戞帶骞惰褰曚簡鏁翠釜杩囩▼涓湇鍔″櫒涓庡鎴风鑺傜偣鐨勭郴缁熻祫婧愬紑閿€涓庤礋杞芥儏鍐点€?/p> <p>涓嬮潰鍙互绠€鍗曚负澶у浠嬬粛涓嬫湰娆℃祴璇曠粨鏋溿€傚涓嬭〃鎵€绀猴紝鍦ㄥ叏閮ㄤ簲涓満鏅腑锛孴Dengine 鍐欏叆鎬ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽啓鍏ヨ繃绋嬩腑璧勬簮鍗犵敤鏈€浣庛€傚姣?InfluxDB锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 1000 涓囪澶囦笅锛岃揪鍒颁簡 InfluxDB 鐨劼?strong>10.6 鍊?/strong>锛涘姣?TimescaleDB 锛孴Dengine 鍐欏叆鏈€浼樼殑鍦烘櫙鏄湪 4000 涓澶囦笅锛岃揪鍒颁簡 TimeScaleDB 鐨劼?strong>6.7 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16714" width="768" height="164" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1024x219.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-300x64.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-768x164.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-1536x329.png 1536w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-15-2048x438.png 2048w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>鍦ㄦ煡璇㈡祴璇曚笂锛屾垜浠皢鍏跺垎涓?5 澶х被銆?5 灏忕被杩涜鏌ヨ瀵规瘮锛屼粠涓嬪浘缁撴灉姹囨€讳腑鍙互鐪嬪埌锛屽湪鍏ㄩ儴 15 涓煡璇㈢被鍨嬩腑锛孴Dengine 鐨勬€ц兘鍧囦紭浜?InfluxDB 鍜?TimescaleDB锛屽苟涓斿畠鐨勬墍鏈夋煡璇㈠欢杩熷潎姣?InfluxDB 鍜?TimescaleDB 鏇翠綆銆備寒鐐规暟鎹箣涓€浣撶幇鍦?Double Rollups 鏌ヨ绫诲瀷瀵规瘮涓紝TDengine 鏈€澶ц揪鍒?InfluxDB 鐨劼?strong>34 鍊?/strong>锛孴imescaleDB 鐨劼?strong>24 鍊?/strong>銆?/p> <div class="wp-block-image"> <figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg" alt="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? class="wp-image-16716" width="768" height="405" title="TSBS 鏄粈涔堬紵涓轰粈涔?TDengine 浼氶€夋嫨瀹冧綔涓烘€ц兘瀵规瘮娴嬭瘯骞冲彴锛?- TDengine Database 鏃跺簭鏁版嵁搴? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-1024x540.jpg 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-300x158.jpg 300w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17-768x405.jpg 768w, //www.yakult-sh.com.cn/wp-content/uploads/2023/02/image-17.jpg 1080w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>浠ヤ笂灏辨槸 TDengine 鍩轰簬 TSBS 娴嬭瘯鎶ュ憡鐨勬祴璇曡儗鏅粙缁嶏紝濡傛灉浣犲娴嬭瘯缁撴灉鎰熷叴瓒o紝娆㈣繋鏌ラ槄<a href="//www.yakult-sh.com.cn/performance-comparison-influxdb-and-timescaledb-vs-tdengine">鏁翠綋鎶ュ憡</a>銆?/p> ]]></content:encoded> </item> <item> <title>鍩轰簬 DataX 鐨?TDengine 3.0 鐗堟湰鏁版嵁杩佺Щ宸ュ叿 //www.yakult-sh.com.cn/news/15595.html Sat, 24 Dec 2022 11:37:53 +0000 //www.yakult-sh.com.cn/?p=15595

时序数据?TDengine {新奥新智Q助力家庭和企业能碳理 - TDengine Database 时序数据? class=

新奥集团?1989 q创立于沛_廊坊Q以城市燃气v点,逐步覆盖了分销、N易、输储、生产、工E智造等天然气业全场景Q诏通清z能源业链Q提供智能化低碳l合能源服务。目前,新奥在全?1个省Q已服务过 2681 万个家庭用户?1 万家企业?/p>

新奥集团旗下企业新奥新智U技有限公司Q简U“新奥新智”)是一家智能生态运营商Q致力于以物联促q智能、用升产业。其依托物联、新Z、联合学习、^台引擎等技术,重点了组l中台、行业中台和数智中台Qؓ产业客户的数字化发展提供赋能产品及解x案。作为新奥的数字化创值型能力q_Q新奥新Z直秉持着“源自客戗成彼此、共创生态”的新奥之道Q以长期实践l验和强大的产品能力不断推动着多业智能化发展?/p>

新奥集团作ؓ国内较大的清z能源分销商,旗下的新奥新智通过信息化手D对能源站、燃气管|、燃气表{进行设备网联,实现高效理和监。然而随着应用场景的增多、联|设备的指数U增长,使得数据存储成本大幅度提升,数据写入和查询缓慢。新奥集团在q行整体物联|数据处理^台搭建和升的过E中Q逐渐发现了老式时序数据?/a> OpenTSDB 写入性能和ƈ发查询能力的不Q重度依?HBaseQ整体^台运l非常沉重。同时数据从边缘侧采集到应用层展C有显著延时Q报表计也无法在限定时间内完成Q严重媄响了业务的时效性?/p>

Z解决巨大数据量带来的数据存储挑战以及原方案性能不的问题,l过多轮深入的技术探讨和选型评测Q新奥新智选择应用时序数据?TDengine Database (Time Series DataBase) 来改造原有数据架构,攚w完成后Q不仅系l架构得C极大化,数据d能力也得C极大提升Q企业的L有成本显著降低,同时对于未来整体物联|^台的升和扩展打下了良好的基?/p>

]]>
物流企业大数据^台管理面临困境,Z、中通、韵辑ֈ享架构改造经?/title> <link>//www.yakult-sh.com.cn/tdengine-user-cases/14909.html</link> <dc:creator><![CDATA[TAOS Data]]></dc:creator> <pubDate>Thu, 03 Nov 2022 09:21:03 +0000</pubDate> <category><![CDATA[时序数据?- 用户案例]]></category> <category><![CDATA[Chinese]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[TDengine-TSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[技术文?- 时序数据库]]></category> <category><![CDATA[_N]]></category> <category><![CDATA[国时序数据库]]></category> <category><![CDATA[大数据^台]]></category> <category><![CDATA[时序性数据库]]></category> <category><![CDATA[时序数据分析]]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=14909</guid> <description><![CDATA[对于物流企业来说Q如何高效地记录和处理R辆的轨迹信息、应Ҏ天v量监控数据的采集和处理工作,对于目整体的交付效率至关重要。诸多物企业开始寻求数据架构的变革Q特别是选择W合业务需求的时序数据库品,本篇文章汇M国内四家大型物流公司的工业大数据架构攚w实例,l到读者参考。]]></description> <content:encoded><![CDATA[ <p>对于物流企业来说Q如何高效地记录和处理R辆的轨迹信息、应Ҏ天v量监控数据的采集和处理工作,对于目整体的交付效率至关重要。同Ӟ伴随着数字化、智能化的不断加速,数据更是呈现出爆发式增长Q老旧的数据架构越来越难以应对业务发展需求。在此背景下Q诸多物企业开始寻求数据架构的变革Q特别是选择W合业务需求的<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="时序数据? target="_blank" rel="noopener">时序数据?/a>QTime Series DatabaseQ?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>Q品,本篇文章汇M国内四家大型物流公司的数据架构改造实例,l到读者参考?/p> <h2 class="wp-block-heading"><a href="//www.yakult-sh.com.cn/user-cases/2314.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/2314.html" rel="noreferrer noopener">Z x TDengine</a></h2> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p>“完成改造后Q大数据监控q_摆脱了对大数据组件的依赖Q有效羃短了数据处理链\Q自上线以来Q一直运行稳定。在写入斚wQ根据容量规划完成相兛_数调整后Q理x况下Q集写入速度最高达 90W ?s。查询性能斚wQ在使用预计函数情况下Q查?p99 都在 0.7 U以内,能够满我们日常l大部分查询需求。控制成本层面,服务端物理机?21 台降?3 収ͼ每日所需存储I间?93GBQ? 副本Q,同等副本下仅?OpenTSDB+HBase 的约 1/10。?/p> </blockquote> <p><strong>业务背景</strong></p> <p>ZU技大数据集每天需要采集v量监控数据,以确保集稳定运行。此前其采用?OpenTSDB+HBase 作ؓ大数据监控^台全量监控数据的存储ҎQ随着接入数据量的不断增长Q这一Ҏ衍生Z不少痛点Q包括依赖多、用成本高和性能不能满{问题,必须对全量监控数据存储方案进行改造。通过?IoTDB、Druid、ClickHouse、TDengine {时序数据存储方案的调研Q?TDengine <a href="//www.yakult-sh.com.cn/" target="_blank" rel="noreferrer noopener">时序数据</a>成ؓ他们的最l选择?/p> <p><strong>架构?/strong></p> <div id="sqinis2ngw" class="wp-block-image"> <figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="768" height="500" src="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流1.png" alt="TDengine Database" class="wp-image-14911" title="物流企业大数据^台管理面临困境,Z、中通、韵辑ֈ享架构改造经?- TDengine Database 时序数据? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流1.png 768w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流1-300x195.png 300w" sizes="auto, (max-width: 768px) 100vw, 768px" /></figure></div> <p>Z证整个系l的高可用和可扩展性,整体架构中,前端采用nginx集群q行负蝲均衡Q保证高可用性;单独分离出客L层,方便Ҏ量需求进行扩容羃宏V点L例详情查看三大实施难点及解决路径?/p> <p class="has-text-align-center"><img src="//s.w.org/images/core/emoji/16.0.1/72x72/1f449.png" alt="👉" class="wp-smiley" style="height: 1em; max-height: 1em;" /> 点击<a href="//www.yakult-sh.com.cn/user-cases/2314.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/2314.html" rel="noreferrer noopener">案例</a>查看更多技术细?/p> <h2 class="wp-block-heading"><a href="//www.yakult-sh.com.cn/user-cases/7815.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/7815.html" rel="noreferrer noopener">韵达 x TDengine</a></h2> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p>“我们目前?TDengine 2.2.2.0 版本Q在三台 16C 64G 的服务器上部|了集群Q数据写入速度大概为每U?5000 行。值得一提的是,Z TDengineQ常用的查询基本可以?1 U之内完成,一些特定查询甚臛_以达到毫U。从存储来说Q同{数据体量下QTDengine 大约占用 300GB 不到的磁盘(单副本)Q而此前?MySQL Ӟ光硬盘用就需要几?TBQ主从)。?/p> </blockquote> <p><strong>业务背景</strong></p> <p>在业务尚未扩张之前,韵达采用的是 MySQL 分区+索引方式q行数据处理Q但随着企业的发展、业务量的增加,面对每日亿的数据量QMySQL 昄已经无法满当下的数据处理需求。随后,韵达军_q行数据库选型Q考虑到目前业务主要是l计各个|点讑֤实时上传的数据,无需再进行修改等操作Q是典型的时序数据。经q一番调研和试Q韵辑֏?TDengine 很W合当下的业务要求?/p> <p><strong>架构?/strong></p> <p>当前韵达的架构是 Spring Boot + MyBatis + MySQL + TDengineQTDengine 负责处理时序数据QMySQL 则负责非时序数据的存储及应用Q整体架构如下:</p> <div id="sqinis2ngw" class="wp-block-image"> <figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="1024" height="630" src="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流2.png" alt="TDengine Database" class="wp-image-14912" title="物流企业大数据^台管理面临困境,Z、中通、韵辑ֈ享架构改造经?- TDengine Database 时序数据? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流2.png 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流2-300x185.png 300w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流2-768x473.png 768w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></figure></div> <p class="has-text-align-center"><img src="//s.w.org/images/core/emoji/16.0.1/72x72/1f449.png" alt="👉" class="wp-smiley" style="height: 1em; max-height: 1em;" /> 点击<a href="//www.yakult-sh.com.cn/user-cases/7815.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/7815.html" rel="noreferrer noopener">案例</a>查看更多技术细?/p> <h2 class="wp-block-heading"><a href="//www.yakult-sh.com.cn/user-cases/3626.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/3626.html" rel="noreferrer noopener">货拉?x TDengine</a></h2> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p>“值得一提的是,TDengine ?SQL 原生语法支持旉l度聚合查询Q同时数据存储压~率q存储空间小Q?q两点直接切中了我们的痛炏V落地后实测相同数据的存储空间只?MySQL 存储I间?1/10 甚至更少。还有⼀个惊喜是Q在现有监控数据存储(MySQL)不住的情况下,h?8C16GB 的单机版 TDengine <a href="//www.yakult-sh.com.cn/">时序数据?/a>L抗下目前所有监控流量和存储压力Q且q行E_Q基本没有故障。?/p> </blockquote> <p><strong>业务背景</strong></p> <p>目前货拉?DBA 团队理的数据存储包?MySQL、Redis、Elasticsearch、Kafka、MQ、Canal {,Z保证监控采样的实时性,其自研的监控pȝ讄的采样间隔ؓ 10 U,每天都会产生庞大的监控数据,监控指标的数据量辑ֈ 20 ?。随着理实例来多Q?MySQL 来存储规模日益庞大的监控数据发力不从心Q急需q行升攚w。结合实际具体需求,通过对不同时序数据库q行调研Q最l货拉拉选择?TDengineQ顺利完成了数据存储监控的升U改造?/p> <p><strong>架构?/strong></p> <div id="sqinis2ngw" class="wp-block-image"> <figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="1024" height="839" src="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流3.jpg" alt="TDengine Database" class="wp-image-14913" title="物流企业大数据^台管理面临困境,Z、中通、韵辑ֈ享架构改造经?- TDengine Database 时序数据? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流3.jpg 1024w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流3-300x246.jpg 300w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流3-768x629.jpg 768w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></figure></div> <p class="has-text-align-center"><img src="//s.w.org/images/core/emoji/16.0.1/72x72/1f449.png" alt="👉" class="wp-smiley" style="height: 1em; max-height: 1em;" /> 点击<a href="//www.yakult-sh.com.cn/user-cases/3626.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/3626.html" rel="noreferrer noopener">案例</a>查看更多技术细?/p> <h2 class="wp-block-heading"><a href="//www.yakult-sh.com.cn/user-cases/14207.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/14207.html" rel="noreferrer noopener">中?x TDengine</a></h2> <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p>“通过目初期的表玎ͼ可以知道 TDengine 能够L满我们的业务需求,L支撑起业务中使用比较频繁的几U查询。未来我们还有其他的使用规划Q后l接入的车辆会辑ֈ几万辆,对于部标Z生的相关时序数据的用也会越来越多,期待 TDengine 可以l箋R联网场景下的查询提供更ؓ多样性的支持。?/p> </blockquote> <p><strong>业务背景</strong></p> <p>车联|业务是中通科技配送全链\业务中非帔R要的一环,通过人、R、货、场全链条覆盖的车联|设备应用,实现物流q输全链路感知。在中智车联服务q_的实际项目需求中Q需要实时查询R辆最C|状态,辑ֈ车辆q营可视化管理。在q行数据库选型Ӟ其对比了 Prometheus ?TDengine q两Ƒ־有代表性的时序数据库,最l被 TDengine “一个设备采集点一张表”的底层设计Q及自带的降采样和窗口函数等优秀性能所吸引?/p> <p><strong>架构?/strong></p> <div id="sqinis2ngw" class="wp-block-image"> <figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="595" height="244" src="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流4.png" alt="TDengine Database" class="wp-image-14914" title="物流企业大数据^台管理面临困境,Z、中通、韵辑ֈ享架构改造经?- TDengine Database 时序数据? srcset="//www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流4.png 595w, //www.yakult-sh.com.cn/wp-content/uploads/2022/11/物流4-300x123.png 300w" sizes="auto, (max-width: 595px) 100vw, 595px" /></figure></div> <p class="has-text-align-center"><img src="//s.w.org/images/core/emoji/16.0.1/72x72/1f449.png" alt="👉" class="wp-smiley" style="height: 1em; max-height: 1em;" /> 点击<a href="//www.yakult-sh.com.cn/user-cases/14207.html" target="_blank" data-type="URL" data-id="//www.yakult-sh.com.cn/user-cases/14207.html" rel="noreferrer noopener">案例</a>查看更多技术细?/p> <h2 class="wp-block-heading">写在最?/h2> <p>据国安政局数据昄Q我国快递业发展q猛Q已l连l几q保?50% 左右的爆发式增长Qؓl济增长注入了强大的zdQ然而高速发展的同时也面临着来多的数据处理难题,好在大数据处理方案也在与时俱q。以上企业用实际案例证明Q对于物企业,时序数据库在降本增效上确实更加显著,值得更多有此c需求的企业试?/p> <p class="has-text-align-center"></p> ]]></content:encoded> </item> <item> <title>Schemaless 写入主要处理逻辑汇总,q些知识点要记牢Q?/title> <link>//www.yakult-sh.com.cn/tdengine-engineering/14798.html</link> <dc:creator><![CDATA[TAOS Data]]></dc:creator> <pubDate>Thu, 27 Oct 2022 09:46:47 +0000</pubDate> <category><![CDATA[技术文?- 时序数据库]]></category> <category><![CDATA[Chinese]]></category> <category><![CDATA[OpenTSDB]]></category> <category><![CDATA[TDengine-TSDB]]></category> <category><![CDATA[Time Series DataBase]]></category> <category><![CDATA[_N]]></category> <category><![CDATA[国时序数据库]]></category> <category><![CDATA[工业实时数据库]]></category> <category><![CDATA[时序型数据库]]></category> <guid isPermaLink="false">//www.yakult-sh.com.cn/?p=14798</guid> <description><![CDATA[Z在数据采集项频繁变动的情况下保证用户仍然能够利地完成数据记录工作,TDengine 提供了三U无模式写入协议。本文将Ҏ模式写入方式的主要处理逻辑、映规则与变更处理{进行分析,便于用户理解与用。]]></description> <content:encoded><![CDATA[ <blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"> <p><strong>?T D</strong>Qؓ了在数据采集wJ变动的情况下保证用户仍然能够顺利地完成数据记录工作QTDengine 提供了三U无模式写入协议Q分别是 InfluxDB Line 协议、OpenTSDB Telnet 协议?OpenTSDB JSON 格式协议。本文将Ҏ模式写入方式的主要处理逻辑、映规则与变更处理{进行分析,便于用户理解与用?/p> </blockquote> <p>通常来说Q物联网应用怼采集比较多的数据,用于实现控制、业务分析、设备监控等功能。但在此q程中,׃应用逻辑的版本升U,或者设备自w的g调整{原因,数据采集可能较为频J地出现变动。这也是<a href="//www.yakult-sh.com.cn/" data-internallinksmanager029f6b8e52c="2" title="时序数据? target="_blank" rel="noopener">时序数据?/a>QTime Series DatabaseQ?a href="//www.yakult-sh.com.cn/tsdb" data-internallinksmanager029f6b8e52c="8" title="TSDB" target="_blank" rel="noopener">TSDB</a>Q需要应对的一个挑战?/p> <p>Z在这U情况下利完成数据记录工作QTDengine <a href="//www.yakult-sh.com.cn/" target="_blank" rel="noreferrer noopener">时序数据</a>?提供?Schemaless 写入方式Q让用户可以省略掉预先创U表/子表的步骤,凭借数据写入接口能够自动创Z数据对应的存储结构。在必要ӞSchemaless 自动增加必要的数据列,保证用户写入的数据能够被正确存储?/p> <p>值得一提的是,通过无模式写入方式徏立的表及其对应的子表Q与通过 SQL 直接建立的超U表和子表完全没有区别,你也可以通过 SQL 语句直接向其中写入数据。但需要注意,通过无模式写入方式徏立的表,其表名是Z标签值按照固定的映射规则生成的,所以无法明地q行表意Q缺乏可L?/p> <h2 class="wp-block-heading">无模式写入行协议</h2> <p>TDengine 的无模式写入行协议兼?InfluxDB 的行协议QLine ProtocolQ、OpenTSDB ?telnet 行协议、OpenTSDB ?JSON 格式协议。但是用这三种协议的时候,需要在 API 中指定输入内容用解析协议的标准?/p> <p>对于 InfluxDB、OpenTSDB 的标准写入协议请参?a href="//www.yakult-sh.com.cn/engineering/14129.html" target="_blank" rel="noreferrer noopener">《在 TDengine 中如何高效写入?四种写入方式提效大全?/a>。下面首先以 InfluxDB 的行协议为基Q介l?TDengine 扩展的协议内容,允许用户采用更加_的方式控Ӟ表)模式?/p> <p>Schemaless 采用一个字W串来表达一个数据行Q可以向写入 API 中一ơ传入多行字W串来实现多个数据行的批量写入)Q其格式U定如下Q?/p> <pre class="wp-block-code"><code>measurement,tag_set field_set timestamp</code></pre> <p>其中Q?/p> <ul class="wp-block-list"> <li>measurement 作为数据表名。它?tag_set 之间使用一个英文逗号来分隔?/li> <li>tag_set 作为标{数据,其格式Ş?<code><tag_key>=<tag_value>,<tag_key>=<tag_value></code>Q也卛_以用英文逗号来分隔多个标{数据。它?field_set 之间使用一个半角空格来分隔?/li> <li>field_set 作为普通列数据Q其格式形如 <code><field_key>=<field_value>,<field_key>=<field_value></code>Q同h使用英文逗号来分隔多个普通列的数据。它?timestamp 之间使用一个半角空格来分隔?/li> <li>timestamp x行数据对应的主键旉戟?/li> </ul> <p>tag_set 中所有的数据自动转化?nchar 数据cdQƈ不需要用双引号Q?#8221;)。在无模式写入数据行协议中,field_set 中的每个数据w需要对自n的数据类型进行描q。具体来_</p> <ul class="wp-block-list"> <li>如果两边有英文双引号Q表C?BINARY(32) cd。例?<code>"abc"</code>?/li> <li>如果两边有英文双引号而且带有 L 前缀Q表C?NCHAR(32) cd。例?<code>L"报错信息"</code>?/li> <li>对空根{等P=Q、逗号Q?Q、双引号Q?#8221;Q,前面需要用反斜杠Q\Q进行{义(都指的是英文半角W号Q?/li> <li>数值类型将通过后缀来区分数据类型,如后~为无?f64Q映的数据cd?doubleQ后~?f32Q映ؓ floatQ可UL <a href="//docs.yakult-sh.com.cn/reference/schemaless/" target="_blank" rel="noreferrer noopener nofollow">//docs.yakult-sh.com.cn/reference/schemaless/</a> 了解更多的后~及映类型?/li> <li>t, T, true, True, TRUE, f, F, false, False 直接作?BOOL 型来处理?/li> </ul> <p>例如如下数据行表C:向名?st 的超U表下的 t1 标签?“3”QNCHARQ、t2 标签?“4”QNCHARQ、t3 标签?“t3″QNCHARQ的数据子表Q写?c1 列ؓ 3QBIGINTQ、c2 列ؓ falseQBOOLQ、c3 列ؓ “passit”QBINARYQ、c4 列ؓ 4QDOUBLEQ、主键时间戳?1626006833639000000 的一行数据?/p> <pre class="wp-block-code"><code>st,t1=3,t2=4,t3=t3 c1=3i64,c3="passit",c2=false,c4=4f64 1626006833639000000</code></pre> <p>需要注意的是,如果描述数据cd后缀时用了错误的大写Q或者ؓ数据指定的数据类型有误,均可能引发报错提C导致数据写入失败?/p> <h2 class="wp-block-heading">无模式写入的主要处理逻辑</h2> <p>无模式写入用如下规则来生成子表名:首先?measurement 的名U和标签?key ?value l合成ؓ如下的字W串—?/p> <pre class="wp-block-code"><code>"measurement,tag_key1=tag_value1,tag_key2=tag_value2"</code></pre> <p>需要注意的是,q里?tagkey1Qtag_key2 q不是用戯入的标签的原始顺序,而是使用了标{֐U按照字W串升序排列后的l果Q所以,tag_key1 q不是在行协议中输入的第一个标{?排列完成以后计算该字W串?MD5 散列gؓ “md5_val”Q我们将计算的结果与字符串组合生成表名:“t_md5_val”,其中?“t?是固定的前缀Q每个通过该映关p自动生成的表都h该前~?/p> <p>用户可以通过?taos.cfg 里配|?smlChildTableName 参数来指定生成的表名?举例如下Q配|?smlChildTableName=tname 插入数据?st,tname=cpu1,t1=4 c1=3 1626006833639000000Q则创徏的表名ؓ cpu1Q注意如果多行数?tname 相同Q但是后面的 tag_set 不同Q则使用W一行自动徏表时指定?tag_setQ其他的行会忽略?/p> <p>此外Q在处理行数据时Q其他原则如下所C:</p> <ol class="wp-block-list"> <li>如果解析行协议获得的表不存在Q则会自动创个超U表Q不手动创徏表,不然插入数据可能异常Q?/li> <li>如果解析行协议获得子表不存在Q则 Schemaless 会按照步?1 ?2 定的子表名来创建子表?/li> <li>如果数据行中指定的标{ֈ或普通列不存在,则在表中增加对应的标{ֈ或普通列Q只增不减)?/li> <li>如果表中存在一些标{ֈ或普通列未在一个数据行中被指定取|那么q些列的值在q一行中会被|ؓ NULL?/li> <li>?BINARY ?NCHAR 列,如果数据行中所提供值的长度出了列cd的限Ӟ自动增加该列允许存储的字W长度上限(只增不减Q,以保证数据的完整保存?/li> <li>整个处理q程中遇到的错误会中断写入过E,q返回错误代码?/li> <li>Z提高写入的效率,默认假设同一个超U表?field_set 的顺序是一LQ第一条数据包含所有的 fieldQ后面的数据按照q个序Q,如果序不一P需要配|参?smlDataFormat ?falseQ否则,数据写入按照相同序写入Q库中数据会异常?/li> </ol> <p>注意Q无模式所有的处理逻辑仍会遵@ TDengine Ҏ据结构的底层限制Q例如每行数据的总长度不能超q?16KB。这斚w的具体限制约束请参见 TDengine SQL 边界限制Q?a href="//docs.yakult-sh.com.cn/taos-sql/limit/" target="_blank" rel="noreferrer noopener nofollow">//docs.yakult-sh.com.cn/taos-sql/limit/</a>Q?/p> <h2 class="wp-block-heading">数据模式映射规则与变更处?/h2> <p>?InfluxDB 行协议ؓ例,其数据如何映成为具有模式的数据Q从上文中我们了解到Q每个行协议中数?measurement 映射U表名称Qtag_set 中的标签名称为数据模式中的标{֐Qfield_set 中的名称为列名称。以如下数据ZQ说明映规则:</p> <pre class="wp-block-code"><code>st,t1=3,t2=4,t3=t3 c1=3i64,c3="passit",c2=false,c4=4f64 1626006833639000000</code></pre> <p>该行数据映射生成一个超U表QstQ?其包含了 3 个类型ؓ nchar 的标{,分别是:t1, t2, t3Q五个数据列Q分别是 tsQtimestampQ,c1 (bigintQ,c3(binary)Qc2 (bool), c4 (bigintQ。映成为如?SQL 语句Q?/p> <pre class="wp-block-code"><code>create stable st (_ts timestamp, c1 bigint, c2 bool, c3 binary(6), c4 bigint) tags(t1 nchar(1), t2 nchar(1), t3 nchar(2))</code></pre> <p>在数据模式变更处理中Q不同行数据写入情况下,对于数据模式的媄响也不同。在使用行协议写入一个明标识的字段cdӞ后箋再更改该字段的类型定义,会出现明的数据模式错误Q即会触发写?API 报告错误。如下所C:</p> <pre class="wp-block-code"><code>st,t1=3,t2=4,t3=t3 c1=3i64,c3="passit",c2=false,c4=4 1626006833639000000 st,t1=3,t2=4,t3=t3 c1=3i64,c3="passit",c2=false,c4=4i 1626006833640000000</code></pre> <p>W一行的数据cd映射?c4 列定义ؓ DoubleQ?但是W二行的数据又通过数值后~方式声明该列?BigIntQ?由此会触发无模式写入的解析错误。如果列前面的行协议数据列声明Z binaryQ?后箋的要求长度更长的 binary 长度Q此时会触发表模式的变更?/p> <pre class="wp-block-code"><code>st,t1=3,t2=4,t3=t3 c1=3i64,c5="pass" 1626006833639000000 st,t1=3,t2=4,t3=t3 c1=3i64,c5="passit" 1626006833640000000</code></pre> <p>W一行中行协议解析会声明 c5 列是一?binary(4)的字D,W二ơ行数据写入会提取列 c5 仍然?binary 列,但是其宽度ؓ 6Q此旉要将 binary 的宽度增加到能够容纳新字W串的宽度?/p> <pre class="wp-block-code"><code>st,t1=3,t2=4,t3=t3 c1=3i64 1626006833639000000 st,t1=3,t2=4,t3=t3 c1=3i64,c6="passit" 1626006833640000000</code></pre> <p>W二行数据相对于W一行来说增加了一个列 c6Q类型ؓ binary(6)。那么此时会自动增加一个列 c6Q?cd?binary(6)?/p> <h2 class="wp-block-heading">写在最?/h2> <p>受篇q所限,关于无模式写入的旉分L率识别、写入完整性、错误码{内容请参?<a href="//docs.yakult-sh.com.cn/reference/schemaless/" target="_blank" rel="noreferrer noopener nofollow">//docs.yakult-sh.com.cn/reference/schemaless/</a> 。如有更多问题,Ƣ迎加入 TDengine 用户交流,届时会有专业的技术h员ؓ你解惑?/p> <div id="sqinis2ngw" class="wp-block-image"> <figure class="aligncenter size-full"><img loading="lazy" decoding="async" width="900" height="450" src="//www.yakult-sh.com.cn/wp-content/uploads/2022/10/T名片.gif" alt="TDengine Database" class="wp-image-14726" title="Schemaless 写入主要处理逻辑汇总,q些知识点要记牢Q?- TDengine Database 时序数据?></figure></div>]]></content:encoded> </item> </channel> </rss>