Bläddra i källkod

TDengine初识

master
qdjjx 5 år sedan
förälder
incheckning
d4b83d8a0d
2 ändrade filer med 46 tillägg och 2 borttagningar
  1. 43
    0
      输出/好的大数据平台更懂场景更少做事.md
  2. 3
    2
      雷达/02工具.md

+ 43
- 0
输出/好的大数据平台更懂场景更少做事.md Visa fil

@@ -0,0 +1,43 @@
1
+> 假设在一个国际会议现场,一位演讲嘉宾对来自世界各地的与会者演讲,如果没有同声翻译,这会就没法开了。同样地,在大数据处理方面,无论我们是Hadoop系列的HDFS、MapReduce、HBase和Hive,还是实时流处理Flink,如果需要使用不同的开发工具、客户端、语言,这会带来陡峭的学习曲线、不菲的学习成本和运维成本。今天简单研究了TDengine这个大数据平台,发现其中的设计思想和理念非常好:少做事、更懂场景。
2
+
3
+TDengine更懂物联网场景。和其它大数据平台不一样,TDengine对物联网场景下的数据进行了深入分析,发现物联网数据其它数据源有着很大的不同。
4
+
5
+TDengine把物联网数据投射到了不同维度:
6
+
7
+- **数据源**:数据源唯一,来自传感器
8
+- **时间**: 物联网数据一定自带时间戳
9
+- **结构**:物联网数据数据是结构化的,而很多互联网数据是非结构化的
10
+- **操作**:写多读少,极少更新、删除
11
+- **用户希望看到的结果**:是趋势不是某一时间点值
12
+- **保存**:数据保存有期限
13
+- **查询**:基于时间段和地理区域查询
14
+- **计算**:需要实时计算
15
+- **数据量**:稳定可预测
16
+
17
+正是因为少做事,对物联网数据了解更深,以上不同维度信息带来了很好的信息增益,很大程度上降低了信息熵,消除了不确定性。在这些信息基础之上,就可以设计出创新的、原创的时序处理引擎、压缩算法、存储结构。
18
+
19
+从表现来看,单核每秒可以处理2万次请求,插入数百万个数据点,瞬间读出一千万以上数据点。在其官网的测试报告中,TDengine在写入速度和查询速度方面的表现远远好于其它时序数据、关系数据,包括InfluxDB, OpenTSDB, Cassandra, MySQL, ClickHouse。
20
+
21
+**如何用TDengine呢**?
22
+
23
+物联网数据的处理大致包括以下流程和环节:
24
+
25
+- 数据采集
26
+- 数据清洗
27
+- 数据传输
28
+- 数据存储
29
+- 数据计算:批量计算和实时计算
30
+- 机器学习
31
+- 数据查询
32
+- 数据可视化
33
+
34
+**TDengine在数据传输、存储、计算、查询方面值得尝试**。在数据传输方面,TDengine集成了消息队列功能,可替代传统的Kafka;在数据存储方面,包括了时序数据库和缓存,可替代其它时序数据库和Redis缓存;在计算方面,融合了流式计算,可替代Spark;在查询方面,无论是十年前还是一秒钟前的指定时间范围内的数据,都可以做到快速响应。
35
+
36
+所有操作都在一个客户端软件上进行。可通过API方式开发。
37
+
38
+截止到目前为止,在其github主页上已经积累了超过4000个Star,和1000个Fork,相当厉害。
39
+
40
+另外,TDengine的源代码是开源,但有其收费产品。收费产品是TDengine企业版和TDengine云服务版。免费产品是TDengine社区版。
41
+
42
+
43
+

+ 3
- 2
雷达/02工具.md Visa fil

@@ -39,7 +39,8 @@
39 39
 
40 40
 **估算每秒写入数据量**:在电流、电压、功率、电量、线温、漏电电流中,功率和电量需要按秒统计,电流、电压、线温、漏电电流按分钟统计。大部分情况下写入数据量=2*1000=2000条, 到整点分钟时写入数据量=6 * 1000=6000条。
41 41
 
42
-**阿里云的以下套餐适合:**
42
+**阿里云的以下套餐适合:**  
43
+
43 44
 ![](./imgs/sxspec.png)
44 45
 
45 46
 **计算公式**。
@@ -53,7 +54,7 @@
53 54
 
54 55
 > 每增加1000个开关,在时序数据库上每年的开销最多增加5000元左右。开关数量越多,越划算。
55 56
 
56
-
57
+> TimescaleDB。也是时序数据库。基于PostgreSQL数据库打造的一款时许数据库,插件化形式,随着PostgreSQL的版本升级而升级。
57 58
 
58 59
 # 评估
59 60
 

Laddar…
Avbryt
Spara